文件名称：Scrapy_Redis_Weibo
文件大小：16KB
文件格式：ZIP
更新时间：2024-03-28 13:12:45
Python
微博爬虫启用方式 在当前目录输入pip install -r requirements.txt 在当前目录输入scrapy crawl weibocn 即可在redis / mongodb可视化界面看到相关数据信息 以下为任选scrapyd部署： 在cmd / terminal输入**（scrapyd>〜/ scrapyd.log＆）**打开scrapyd服务 在当前目录输入scrapyd-deploy部署爬虫项目 输入curl -d project = weibo -d spider = weibocn快速启动 bloomfilter配置 安装 输入以下命令： pip install scrapy - redis - bloomfilter 使用 在settings.py里添加如下代码： # Persist SCHEDULER_PERSIST = True # Ensure use
【文件预览】：
Scrapy_Redis_Weibo-master
----weibo()
--------settings.py(4KB)
--------pipelines.py(2KB)
--------middlewares.py(1KB)
--------__init__.py(0B)
--------items.py(822B)
--------__pycache__()
--------spiders()
----scrapy.cfg(256B)
----requirements.txt(239B)
----README.md(1KB)