sinaCrawlerV:新浪中指定用户的备份帖子和评论

时间:2021-05-09 08:38:59
【文件属性】:
文件名称:sinaCrawlerV:新浪中指定用户的备份帖子和评论
文件大小:13KB
文件格式:ZIP
更新时间:2021-05-09 08:38:59
python crawler pymysql sina Python sinaCrawlerV easy program to backup posts and comments of specify user in sina 简易爬虫抓取指定用户的微博和微博文章 Requirement: python 3.6 extension: bs4 lxml pymysql mysql 5.6 Function: database.py 封装了各种mysql操作 post.py 抓取微博,每次抓取到上次抓取的时间为止 article.py 抓取文章,同上 gadget.py 用到的各种小工具 config.py 需要用到的参数 Usage: 创建数据表:运行sina.sql创建数据表 完善config.py的参数,抓取微博使用移动端的请求链接;抓取文章需要登录,这里手动登录后,查看移动端的异步请求,复制Request Header里面的cookie出来使用 命令行终
【文件预览】:
sinaCrawlerV-master
----.gitignore(21B)
----post.py(6KB)
----database.py(1KB)
----LICENSE(11KB)
----auto.bat(68B)
----article.py(6KB)
----README.md(903B)
----config.py(3KB)
----sina.sql(1KB)
----gadget.py(2KB)

网友评论