【文件属性】:
文件名称:weiboscraper:基于scrapy的微博爬虫
文件大小:21KB
文件格式:ZIP
更新时间:2021-06-21 22:05:00
Python
微博
基于scrapy,以MongoDB为数据库后端的微博爬虫
weiboscraper能做什么?
根据用户或组织的 uid 抓取用户或组织的信息
特征
路线图
如何避免被封号?
以下是weiboscraper解决问题的方法:
使用动态用户代理
计划做:
使用多个帐户
不同账号使用不同IP
【文件预览】:
weiboscraper-master
----weiboscraper()
--------settings.py(2KB)
--------utils()
--------pipelines.py(2KB)
--------__init__.py(0B)
--------items.py(1KB)
--------useragent.py(3KB)
--------spiders()
--------global_vars.py(840B)
--------extensions.py(1KB)
--------multispider.py(2KB)
--------stats.py(1KB)
----scrapy.cfg(266B)
----LICENSE(1KB)
----README.md(382B)
----.gitignore(691B)