icrawler内置多个图像下载引擎的多线程爬虫框架

时间:2022-08-29 23:21:49
【文件属性】:

文件名称:icrawler内置多个图像下载引擎的多线程爬虫框架

文件大小:50KB

文件格式:ZIP

更新时间:2022-08-29 23:21:49

Python开发-Web爬虫

icrawler - 内置多个图像下载引擎的多线程爬虫框架


【文件预览】:
icrawler-master
----.gitignore(429B)
----setup.cfg(25B)
----icrawler()
--------utils()
--------crawler.py(7KB)
--------downloader.py(10KB)
--------feeder.py(3KB)
--------parser.py(5KB)
--------__init__.py(321B)
--------version.py(22B)
--------builtin()
--------storage()
----README.rst(3KB)
----tests()
--------test_todo.py(2KB)
----docs()
--------extend.rst(6KB)
--------make.bat(812B)
--------conf.py(5KB)
--------index.rst(279B)
--------api.rst(553B)
--------proxy.rst(1KB)
--------release_notes.rst(718B)
--------builtin.rst(8KB)
--------Makefile(605B)
--------install.rst(424B)
----examples()
--------filelist_demo.txt(244B)
--------crawl.py(3KB)
----LICENSE(1KB)
----requirements.txt(61B)
----MANIFEST.in(18B)
----setup.py(2KB)
----.travis.yml(996B)

网友评论