文件名称：scrapyrt:Scrapy蜘蛛的HTTP API
文件大小：56KB
文件格式：ZIP
更新时间：2024-05-18 06:51:24
python crawler scraper crawling twisted
Scrapyrt（Scrapy实时） 介绍 HTTP服务器，提供用于调度蜘蛛和使用蜘蛛发出请求的API。 特征 使您可以轻松地将HTTP API添加到现有的Scrapy项目中 开箱即用地支持所有Scrapy项目组件（例如中间件，管道，扩展）。 您只需在Scrapy项目目录中运行Scrapyrt，它就会启动HTTP服务器，从而允许您计划蜘蛛并以JSON格式获取蜘蛛输出。 笔记 Project不能替代或或其他基础架构来运行长时间运行的爬网 不适合长时间运行的蜘蛛，也适合从某些网站获取一个响应并返回响应的蜘蛛 入门 要安装Scrapyrt： pip install scrapyrt 现在，您只需键入以下内容即可在Scrapy项目中运行Scrapyrt： scrapyrt 在Scrapy项目目录中。 Scrapyrt将寻找scrapy.cfg文件来确定您的项目设置，如果找不到该文件，则会
【文件预览】：
scrapyrt-master
----README.rst(3KB)
----requirements-dev.txt(125B)
----docs()
--------Makefile(7KB)
--------source()
----.github()
--------workflows()
----Dockerfile(819B)
----tests()
--------test_crawler.py(3KB)
--------test_utils.py(874B)
--------test_resource_root.py(722B)
--------test_decorators.py(688B)
--------utils.py(2KB)
--------sample_data()
--------test_crawl_manager.py(16KB)
--------test_crawler_process.py(2KB)
--------test_settings()
--------test_resource_serviceresource.py(8KB)
--------__init__.py(210B)
--------testsite()
--------test_log_observer.py(2KB)
--------test_resource_crawl.py(18KB)
--------test_cmdline.py(1KB)
--------test_resource_realtimeapi.py(2KB)
--------servers.py(3KB)
--------spiders.py(1KB)
----LICENSE(1KB)
----setup.cfg(28B)
----requirements.txt(14B)
----setup.py(1KB)
----.gitignore(296B)
----.bumpversion.cfg(126B)
----scrapyrt()
--------conf()
--------core.py(10KB)
--------utils.py(1KB)
--------decorators.py(867B)
--------__init__.py(261B)
--------cmdline.py(3KB)
--------VERSION(7B)
--------resources.py(10KB)
--------log.py(5KB)
--------exceptions.py(203B)