文件名称:dcard_crawler
文件大小:5KB
文件格式:ZIP
更新时间:2024-06-22 11:44:03
Python
dcard_crawler Dcard 文章/推文爬虫 抓取Dcard文章及推文,储存至Mysql资料库 安装说明 安装MySQL资料库 执行database/dcard.sql 、 database/dcard_posts.sql 、 database/dcard_comments.sql git clone https://github.com/sweslo17/chinese_sentiment.git pip install -r requirements.txt 修改config.py.template 使用说明 python crawler.py new [N]回溯更新2小时资料,并新增最新N个post ID资料(往max ID后扫描至max ID+N。default: N=100) python crawler.py last [N]回溯更新N天资料。 (default
【文件预览】:
dcard_crawler-master
----database()
--------dcard.sql(64B)
--------dcard_comments.sql(838B)
--------dcard_posts.sql(1KB)
----config.py.template(60B)
----requirements.txt(58B)
----.gitignore(26B)
----README.md(650B)
----crawler.py(6KB)