fetchman：fetchman是一个简单的搜寻器系统

【文件属性】：
文件名称：fetchman：fetchman是一个简单的搜寻器系统
文件大小：197KB
文件格式：ZIP
更新时间：2021-02-04 21:38:52
python crawler framework FrameworkPython 弗奇曼 现在有很多爬虫框架，， ， 都可以在爬虫工作中使用，也可以直接通过+ 来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中，爬虫框架各自有优势和scrapy，它的功能强大，但过于强大的功能也许反而让新手无所适从，并且它采用扭曲的垂直框架开发，对新手来说就是惯于理解，项目难于调试。所以我模仿了这些爬虫框架的优势，以正确的原则，搭配gevent（实际上是grequests）开发了这套轻量级爬虫框架。 downloader是下载器。 处理器是解析器。 scheduler是调度器。 pipeline是数据处理器。 将下载器，解析器，调度器，数据处理器注入核心core成为spider对

【文件预览】：
fetchman-master
----.travis.yml(1KB)
----.coveragerc(426B)
----README-SETUP.rst(4KB)
----fetchman()
--------pipeline()
--------processor()
--------scheduler()
--------downloader()
--------__init__.py(94B)
--------settings()
--------spider()
--------utils()
--------loginer()
----pic()
--------jiagou.png(76KB)
--------jigou.png(63KB)
--------jichu.png(16KB)
----tests()
--------test_processor.py(622B)
--------__init__.py(169B)
----news-crawler()
--------gzb.py(4KB)
--------pipelines()
--------tuliu.py(5KB)
--------__init__.py(103B)
--------zhue.py(8KB)
--------util()
----LICENSE(11KB)
----requirements.txt(111B)
----setup.py(2KB)
----README.md(9KB)
----fetchman-example()
--------proxy.txt(14B)
--------zhu_processor.py(3KB)
--------settings.py(536B)