文件名称：crawlab：用于蜘蛛管理的分布式Web爬网程序管理平台，与语言和框架无关。分布式爬虫管理平台，支持任何语言和框架
文件大小：1.1MB
文件格式：ZIP
更新时间：2024-02-22 23:31:03
go docker platform crawler spider
克劳伯 | 英语 | | | | | | 基于Golang的分布式Web爬网程序管理平台，支持多种语言，包括Python，NodeJS，Go，Java，PHP和各种Web爬网程序框架，包括Scrapy，Puppeteer，Selenium。 | 安装 三种方法： （推荐） （检查内部内核） （多节点部署） 前提条件（Docker） Docker 18.03+ Redis 5.x + MongoDB 3.6+ Docker Compose 1.24+（可选，但推荐） 前提条件（直接部署） 转到1.12+ 节点8.12+ Redis 5.x + MongoDB 3.6+ 快速开始 请打开命令行提示符并执行以下命令。 确保事先安装了docker-compose 。 git clone https://github.com/crawlab-team/crawlab cd crawlab docker-compose up -d 接下来，您可以查看docker-compose.yml （带有详细的配置参数）和以获取更多信息。 跑 码头工人 请使用docker-