crawlab:用于蜘蛛管理的分布式Web爬网程序管理平台,与语言和框架无关。分布式爬虫管理平台,支持任何语言和框架

时间:2024-02-22 23:31:03
【文件属性】:

文件名称:crawlab:用于蜘蛛管理的分布式Web爬网程序管理平台,与语言和框架无关。分布式爬虫管理平台,支持任何语言和框架

文件大小:1.1MB

文件格式:ZIP

更新时间:2024-02-22 23:31:03

go docker platform crawler spider

克劳伯 | 英语 | | | | | | 基于Golang的分布式Web爬网程序管理平台,支持多种语言,包括Python,NodeJS,Go,Java,PHP和各种Web爬网程序框架,包括Scrapy,Puppeteer,Selenium。 | 安装 三种方法: (推荐) (检查内部内核) (多节点部署) 前提条件(Docker) Docker 18.03+ Redis 5.x + MongoDB 3.6+ Docker Compose 1.24+(可选,但推荐) 前提条件(直接部署) 转到1.12+ 节点8.12+ Redis 5.x + MongoDB 3.6+ 快速开始 请打开命令行提示符并执行以下命令。 确保事先安装了docker-compose 。 git clone https://github.com/crawlab-team/crawlab cd crawlab docker-compose up -d 接下来,您可以查看docker-compose.yml (带有详细的配置参数)和以获取更多信息。 跑 码头工人 请使用docker-


网友评论