文件名称：webbot:基于scrapy 0.24.6框架的简单webbot
文件大小：46KB
文件格式：ZIP
更新时间：2024-06-22 15:51:02
Python
网络机器人用户手册 基于scrapy(0.24.6)的简单webbot 功能列表 配置（json） 选择器（xpath/css/jpath） 正则表达式（Python风味） 宏（年/月/日/时/分/秒） 页面（开始/停止/步骤） 解析（int/float/date/text/string/sub/grep/map/tee） 插件（python 脚本） 图片下载器 过滤器（detetime-delta/regex/number-range/str） 数据库（redis/mongo/mysql） 代理（http） HttpMethod(GET/POST) HttpHeader(Cookie/Usage-Agent/Referer) 日志记录（调试/信息/警告/错误） 设置（下载超时/下载延迟/用户代理） 消息队列(zmq) StatsPost(mongo) 批量
【文件预览】：
webbot-master
----scrapy.cfg(339B)
----LICENSE(34KB)
----requirements.txt(117B)
----examples()
--------douban.conf(790B)
----.gitignore(15B)
----README.md(24KB)
----webbot()
--------extensions.py(2KB)
--------middlewares.py(5KB)
--------pipelines.py(7KB)
--------spiders()
--------items.py(164B)
--------__init__.py(0B)
--------settings.py(1KB)
--------utils()
----scripts()
--------deploy-scrapyd.sh(1KB)
--------deploy-redis.sh(3KB)
--------purge-redis.py(691B)
--------redis-import.awk(123B)