文件名称:scrapy-statsd:Statsd集成中间件,用于抓取
文件大小:13KB
文件格式:ZIP
更新时间:2024-06-04 09:35:23
Python
Scrapy Statsd中间件 用法 pip install scrapy-statsd-middleware DOWNLOADER_MIDDLEWARES = { 'statsd_middleware.StatsdMiddleware': 543, } SPIDER_MIDDLEWARES = { 'statsd_middleware.StatsdMiddleware': 543, } 您还可以使用一些设置: STATSD_HOSTNAME默认为当前计算机的主机名 STATSD_PREFIX默认为“ hostname.spider-name”。 STATSD_HOST_IP默认为“ 0.0.0.0” 这将使statsd增加以下内容: 请求( spider_reqs_issued ) 响应( spider_resps_received ) 错误( error_Ke
【文件预览】:
scrapy-statsd-master
----README.rst(2KB)
----example()
--------README.rst(2KB)
--------scrapy.cfg(37B)
--------Dockerfile(425B)
--------requirements.txt(50B)
--------dirbot()
--------docker-compose.yml(328B)
--------setup.py(183B)
----LICENSE(581B)
----scrapy_statsd_middleware()
--------statsd_middleware.py(2KB)
--------tests()
--------__init__.py(0B)
----setup.cfg(252B)
----requirements.txt(31B)
----setup.py(644B)
----.gitignore(85B)
----Makefile(86B)
----README.md(1KB)