文件名称：weiboscraper:基于scrapy的微博爬虫
文件大小：21KB
文件格式：ZIP
更新时间：2024-07-11 15:51:40
Python
微博 基于scrapy，以MongoDB为数据库后端的微博爬虫 weiboscraper能做什么？ 根据用户或组织的 uid 抓取用户或组织的信息 特征 路线图 如何避免被封号？ 以下是weiboscraper解决问题的方法： 使用动态用户代理 计划做： 使用多个帐户 不同账号使用不同IP
【文件预览】：
weiboscraper-master
----weiboscraper()
--------settings.py(2KB)
--------utils()
--------pipelines.py(2KB)
--------__init__.py(0B)
--------items.py(1KB)
--------useragent.py(3KB)
--------spiders()
--------global_vars.py(840B)
--------extensions.py(1KB)
--------multispider.py(2KB)
--------stats.py(1KB)
----scrapy.cfg(266B)
----LICENSE(1KB)
----README.md(382B)
----.gitignore(691B)