文件名称:Python-Sasila一个灵活友好的Python爬虫框架
文件大小:362KB
文件格式:ZIP
更新时间:2022-08-30 01:23:46
Python开发-Web爬虫
现在有很多爬虫框架,比如scrapy、webmagic、pyspider,也可以直接通过requests beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,仍然不能完全满足实际需要。所以我搭配gevent开发了这套轻量级爬虫框架。
【文件预览】:
Sasila-master
----README.md(10KB)
----README-SETUP.rst(7KB)
----tests()
--------test_processor.py(782B)
--------__init__.py(169B)
----LICENSE(11KB)
----pic()
--------jishi-huoqushuju.png(23KB)
--------spider.jpg(37KB)
--------feijishi.png(56KB)
--------jiagou.png(76KB)
--------jichu.png(16KB)
--------jigou.png(63KB)
--------jishi-shouquan.png(44KB)
----.coveragerc(349B)
----sasila()
--------settings()
--------system_normal()
--------__init__.py(93B)
--------system_instant()
--------system_web()
----requirements.txt(143B)
----sasila-example()
--------proxy.txt(14B)
--------settings.py(543B)
--------main.py(690B)
--------fang_processor.py(4KB)
--------car_processor.py(6KB)
----setup.py(2KB)
----.travis.yml(1KB)