文件名称：NetDiscovery：NetDiscovery是一种基于Vert.x，RxJava 2等框架实现的通用爬虫框架中间件
文件大小：108.04MB
文件格式：ZIP
更新时间：2024-02-24 16:47:13
kotlin redis middleware crawler kafka
网络发现 功能特点： 轻量级爬虫 初步设计，适当扩展：支持多种消息体系（Disruptor，Redis，Kafka，RabitMQ，RocketMQ），多种网络框架（Http Client，Okhttp3，Selenium等），也支持自己实现。 支持分布式 多线程，异步化：逐步使用RxJava 2的多线程机制 支持线程池隔离：爬虫的Parser，Pipeline过程可以放在独立的线程池中进行处理 支持请求动态添加到正在运行爬虫的队列中 支持Kotlin协程 支持JS渲染 支持请求自定义header信息 支持debug功能：在调试时请求可以打开debug的开关，使用Local Cache（RxC