文件名称:weibo_crawler:微博搜索结果爬取工具
文件大小:154KB
文件格式:ZIP
更新时间:2024-07-31 09:31:51
Python
weibo_crawler 本工具使用模拟登录来实现微博搜索结果的爬取,如果用户需要爬取更多的数据,请在weibo_zhanghao.txt中添加微博帐号的用户名密码(可以注册小号),每一行一个账户,用户名和密码用逗号隔开。希望更多的使用者能贡献注册的小号,这样能方便大家的爬取 环境要求 Python 系统中需要先安装Python,这是Python官网链接 BeautifulSoup BeautifulSoup是Python的一个html解析库,用来解析微博搜索结果中相关信息,版本是BeautifulSoup4, 安装方法可自行百度 有关BeautifulSoup的更多信息,请访问 mysql-python 访问mysql数据库的python模块,Ubuntu下安装方法见: 使用 将要查询的关键词添加到keywords文件中,并启动程序 python ./Crawler.py 工具
【文件预览】:
weibo_crawler-master
----.gitignore(6B)
----DBConnection.py(1KB)
----Crawler.py(1KB)
----Global.py(2KB)
----weibo_zhanghao.txt(33B)
----SinaAPI.py(36KB)
----UserInfo.py(5KB)
----user_agents(859KB)
----README.md(2KB)
----keywords(45B)
----weibo.ini(110B)
----WeiboContent.py(5KB)