文件名称:webextract:基于Python3的Web搜寻器
文件大小:3KB
文件格式:ZIP
更新时间:2024-06-11 16:23:17
Python
#Web crawler based on Python3 #The idea is to extract all the URL to join the queue, to download all the URL cache to prevent duplication of download, the URL address into the relative address of the disk #基于Python3 的网站抓取工具 #思路就是提取所有的URL加入到队列,把所有下载过得URL缓存防止重复下载,把URL地址转换为磁盘下的相对地址
【文件预览】:
webextract-master
----download.py(2KB)
----README.md(342B)
----extract.py(6KB)