文件名称:java源码网络爬虫-venom:您首选的面向深度网络的开源重点爬网程序
文件大小:168KB
文件格式:ZIP
更新时间:2024-06-13 19:27:47
系统开源
java原始网络爬虫毒液 您首选的面向Deep Web的开源重点爬网程序。 概述 我们的目标是创建一种简单易用的快速,完全可定制且强大的爬虫。 快速链接 | | | | | 特征 开箱即用的多线程 通过JSoup集成进行结构化爬网 页面验证 自动重试 代理支持 自动保存原始HTML页面 入门 Venom入门快速简便。 有两种入门方法。 克隆我们的示例或教程 如果您是从一个新项目开始,则可以考虑克隆我们的: git clone https://github.com/PreferredAI/venom-examples.git 或者,如果您需要更多指导性的套餐,则可以查看我们的: git clone https://github.com/PreferredAI/venom-tutorial.git 添加依赖项 如果您已经有一个项目,则只需将Venom添加为对pom.xml的依赖项: < dependency > <!-- Venom: Your preferred focused crawler @ https://venom.preferred.ai/ --> < groupId >ai