文件名称:weibo-search:获取微博搜索结果信息,搜索即可以是微博关键词搜索,也可以是微博话题搜索
文件大小:21KB
文件格式:ZIP
更新时间:2024-04-09 02:06:34
Python
功能 连续获取一个或多个微博关键词搜索结果,并将结果写入文件(可选),数据库(可选)等所谓微博关键词搜索即:搜索正文中包含指定关键词的微博,可以指定搜索的时间范围。举个栗子,通常您可以搜索包含关键字“迪丽热巴”且发布日期在2020-03-01和2020-03-16之间的微博。搜索结果数量巨大,对于非常热门的关键字,在一天的指定时间范围内,可以获得1000万以上的搜索结果。注意这里的一天指的是时间筛选范围,具体多连续将这1000万微博下载到本地还要看获取的速度。1000万只是一天时间范围可获取的微博数量,如果想获取更多微博,可以增加时间范围,比如10天,最多可获得1000万X10 = 1亿条搜索结果,当然你也可以再加大时间范围。对于大多数关键字,微博一天产生的相关搜索结果应该低于1000万,因此可以说本程序可以获取指定关键字的全部或近似全部的搜索结果。 ,如微博正文,发布者等,详情见部分。支
【文件预览】:
weibo-search-master
----requirements.txt(14B)
----weibo()
--------middlewares.py(4KB)
--------spiders()
--------__init__.py(0B)
--------pipelines.py(8KB)
--------utils()
--------settings.py(3KB)
--------items.py(764B)
----README.md(9KB)
----scrapy.cfg(253B)