文件名称：scrapy-redis-examples:A scrapy project integrated with redis(scrapy集成redis实例)
文件大小：116KB
文件格式：ZIP
更新时间：2024-07-14 07:45:59
Python
scrapy-redis-examples 一个与redis集成的scrapy项目。 在scrapy工作中，我们可以使用redis做很多事情。 记住不要用它来做任何违法的事情！ ####Usage sudo apt-get install scrapy-0.2x sudo apt-get install redis-server sudo apt-get update git克隆... #better use scrapy shell before craw scrapy shell http://specify_address/xxx.html cd scrapy-redis-examples/hrtencent & scrapy crawl hrtencent 最后您可以在存储文件夹中看到结果文件 ####New Features 1.Rembere 爬虫爬行状态。 确保我们
【文件预览】：
scrapy-redis-examples-master
----misc()
--------agents.py(52KB)
--------middleware.py(971B)
--------__init__.py(0B)
--------log.py(194B)
--------proxy.py(142B)
----tutorial()
--------tutorial()
--------scrapy.cfg(258B)
--------data_utf8.json(13KB)
--------Resources(14KB)
--------Books(24KB)
----sis()
--------scrapy.cfg(248B)
--------sis()
----segment()
--------scrapy.cfg(256B)
--------segment()
----hrtencent()
--------scrapy.cfg(260B)
--------hrtencent()
--------storage()
----.gitignore(26B)
----README.md(1KB)
----clean.sh(32B)