文件名称：icrawler：提供了许多内置图像搜寻器的多线程搜寻器框架
文件大小：50KB
文件格式：ZIP
更新时间：2024-03-15 02:40:11
python crawler spider scrapy google-images
爬虫 介绍 文档： : 尝试使用pip install icrawler或conda install -c hellock icrawler 。 该软件包是Web搜寻器的微型框架。 通过模块化设计，它易于使用和扩展。 它很好地支持图像和视频等媒体数据，也可以应用于文本和其他类型的文件。 Scrapy重而有力，而icrawler小而有弹性。 使用此软件包，您可以专注于要爬网的内容，从而轻松编写多线程爬网程序，从而避免诸如异常处理，线程调度和通信之类的麻烦问题。 它还为流行的图像站点（例如Flickr）和搜索引擎（例如Google ， Bing和Baidu）提供了内置搜寻器。 （感谢所有贡献者，我们始终欢迎提出要求！） 要求 Python 2.7+或3.5+（推荐）。 例子 使用内置搜寻器非常简单。 最小示例如下所示。 from icrawler . builtin import
【文件预览】：
icrawler-master
----MANIFEST.in(18B)
----README.rst(3KB)
----requirements.txt(61B)
----examples()
--------crawl.py(3KB)
--------filelist_demo.txt(244B)
----.travis.yml(996B)
----LICENSE(1KB)
----setup.cfg(25B)
----setup.py(2KB)
----docs()
--------extend.rst(6KB)
--------make.bat(812B)
--------install.rst(424B)
--------conf.py(5KB)
--------index.rst(279B)
--------proxy.rst(1KB)
--------Makefile(605B)
--------api.rst(553B)
--------release_notes.rst(718B)
--------builtin.rst(8KB)
----tests()
--------test_todo.py(2KB)
----.gitignore(429B)
----icrawler()
--------utils()
--------parser.py(5KB)
--------feeder.py(3KB)
--------__init__.py(321B)
--------crawler.py(7KB)
--------downloader.py(10KB)
--------builtin()
--------storage()
--------version.py(22B)