【文件属性】:
文件名称:scrapy:从https开始抓取时间表
文件大小:14KB
文件格式:ZIP
更新时间:2021-03-09 02:44:44
Python
刮y的
设置
cd进入工作文件夹
运行命令以将数据输出到.json文件
scrapy crawl event
去做:
二级解析以获取完整描述
[-]解析为ISO-8601的日期
允许auth到.env变量进行数据库管道
最终确定增量更新逻辑
测试
【文件预览】:
scrapy-main
----.env.example(245B)
----Dockerfile(525B)
----README.md(322B)
----waterScrape()
--------result.json(3KB)
--------runner.py(260B)
--------scrapy.cfg(265B)
--------requirements.txt(149B)
--------waterScrape()
----docker-compose.yml(684B)
----.gitignore(23B)