【文件属性】:
文件名称:pyspider:Python中强大的Spider(Web Crawler)系统
文件大小:2.21MB
文件格式:ZIP
更新时间:2021-02-05 10:42:46
python crawler PythonPython
pyspider
Python中强大的Spider(Web Crawler)系统。
用Python编写脚本
带有脚本编辑器,任务监视器,项目管理器和结果查看器的强大WebUI
, , , , ; 以作为数据库后端
, 和作为消息队列
任务优先级,重试,定期,按年龄重新爬网等。
分布式架构,抓取Javascript页面,Python 2. {6,7},3。{3,4,5,6}支持等...
教程: : 文档: : 发行说明: :
样例代码
from pyspider . libs . base_handler import *
class Handler ( Bas