文件名称：scrapinghub-entrypoint-scrapy:Scrapinghub求职者的崎cra入口点
文件大小：39KB
文件格式：ZIP
更新时间：2024-06-12 13:04:48
Python
scrapinghub-entrypoint-scrapy Scrapinghub求职者的粗糙入口点。 该软件包实现了一个基础包装层，以从环境中提取作业数据，对其进行正确的解析/准备，并使用Scrapy或自定义执行程序执行作业。 特征 从环境中解析作业数据 处理作业参数和设置 与Scrapy一起工作 收集统计数据 高级日志记录和错误处理 全面的存储支持 自定义脚本支持 安装 pip install scrapinghub-entrypoint-scrapy
【文件预览】：
scrapinghub-entrypoint-scrapy-master
----setup.py(1KB)
----.gitignore(51B)
----sh_scrapy()
--------compat.py(2KB)
--------env.py(4KB)
--------writer.py(2KB)
--------middlewares.py(3KB)
--------crawl.py(7KB)
--------__init__.py(0B)
--------log.py(5KB)
--------extension.py(3KB)
--------utils.py(173B)
--------stats.py(1021B)
--------hsref.py(2KB)
--------commands()
--------diskquota.py(1KB)
--------settings.py(9KB)
--------exceptions.py(194B)
----.travis.yml(984B)
----.bumpversion.cfg(120B)
----LICENSE(1KB)
----setup.cfg(79B)
----README.rst(590B)
----tests()
--------conftest.py(859B)
--------test_writer.py(3KB)
--------__init__.py(0B)
--------test_middlewares.py(4KB)
--------test_extension.py(5KB)
--------test_log.py(8KB)
--------test_hsref.py(3KB)
--------test_env.py(6KB)
--------test_utils.py(867B)
--------test_crawl.py(10KB)
--------test_stats.py(1KB)
--------test_diskquota.py(2KB)
--------test_compat.py(1KB)
--------test_settings.py(15KB)
----tox.ini(233B)