文件名称:ScrapyUtils:抓取可变网页的简单工具
文件大小:177KB
文件格式:ZIP
更新时间:2024-04-24 10:12:39
Python
related_matches。 如何使用 1.创建 在命令行中。 创建一个方案 > python trigger.py generate demo or > trigger.exe generate demo 2.设定(demo / setting.py) 创建您的任务对象。 # generator your tasks in here. def generate_tasks ( ** kwargs ): for i in range ( 10 ): t = Task ( url = 'http://yoursite.com' ) yield t 3.动作(demo / action.py) 从第2步获取任务,然后使用刮板下载页面。 @ active class DemoAction ( ActionStep ): def scra