【文件属性】:
文件名称:sinaCrawlerV:新浪中指定用户的备份帖子和评论
文件大小:13KB
文件格式:ZIP
更新时间:2021-05-09 08:38:59
python crawler pymysql sina Python
sinaCrawlerV
easy program to backup posts and comments of specify user in sina
简易爬虫抓取指定用户的微博和微博文章
Requirement:
python 3.6
extension:
bs4
lxml
pymysql
mysql 5.6
Function:
database.py 封装了各种mysql操作
post.py 抓取微博,每次抓取到上次抓取的时间为止
article.py 抓取文章,同上
gadget.py 用到的各种小工具
config.py 需要用到的参数
Usage:
创建数据表:运行sina.sql创建数据表
完善config.py的参数,抓取微博使用移动端的请求链接;抓取文章需要登录,这里手动登录后,查看移动端的异步请求,复制Request Header里面的cookie出来使用
命令行终
【文件预览】:
sinaCrawlerV-master
----.gitignore(21B)
----post.py(6KB)
----database.py(1KB)
----LICENSE(11KB)
----auto.bat(68B)
----article.py(6KB)
----README.md(903B)
----config.py(3KB)
----sina.sql(1KB)
----gadget.py(2KB)