文件名称：sinaCrawlerV:新浪中指定用户的备份帖子和评论
文件大小：13KB
文件格式：ZIP
更新时间：2024-05-29 02:25:39
python crawler pymysql sina Python
sinaCrawlerV easy program to backup posts and comments of specify user in sina 简易爬虫抓取指定用户的微博和微博文章 Requirement： python 3.6 extension: bs4 lxml pymysql mysql 5.6 Function: database.py 封装了各种mysql操作 post.py 抓取微博，每次抓取到上次抓取的时间为止 article.py 抓取文章，同上 gadget.py 用到的各种小工具 config.py 需要用到的参数 Usage： 创建数据表：运行sina.sql创建数据表 完善config.py的参数，抓取微博使用移动端的请求链接；抓取文章需要登录，这里手动登录后，查看移动端的异步请求，复制Request Header里面的cookie出来使用 命令行终
【文件预览】：
sinaCrawlerV-master
----.gitignore(21B)
----post.py(6KB)
----database.py(1KB)
----LICENSE(11KB)
----auto.bat(68B)
----article.py(6KB)
----README.md(903B)
----config.py(3KB)
----sina.sql(1KB)
----gadget.py(2KB)