文件名称:scrapyd-playground:开始使用scrapy和scrapyd
文件大小:8KB
文件格式:ZIP
更新时间:2024-07-11 06:37:09
Python
Scrapy游乐场 我创建这个存储库是为了快速开始使用scrapy 和scrapyd。 我已经包含了一个 Dockerfile 来构建一个容器,其中包含运行 scrapyd 实例所需的一切。 还包括教程蜘蛛作为如何部署蜘蛛的示例,作为额外的奖励,我创建了一个具有图像管道功能的蜘蛛! 快速入门 使用 fig 启动并运行scrapy playground fig up 这将构建 Docker 容器并启动两个容器。 一个是持久化数据容器,其中蜘蛛/日志/等。 将被存储。 第二个是scrapyd服务器。 跳到Deploying the tutorial spider部分开始抓取! 在不带图的 Docker 中运行scrapyd 如果您想构建自己的容器, docker build -t scrapyd . docker run -it -p 6800:6800 scrapyd 否则,我在
【文件预览】:
scrapyd-playground-master
----tutorial()
--------tutorial()
--------scrapy.cfg(282B)
--------setup.py(255B)
----fig.yml(668B)
----Dockerfile(1KB)
----LICENSE(1KB)
----requirements.txt(348B)
----.gitignore(28B)
----README.md(2KB)