webcrawler:网络爬虫

时间:2024-06-13 14:56:03
【文件属性】:

文件名称:webcrawler:网络爬虫

文件大小:13KB

文件格式:ZIP

更新时间:2024-06-13 14:56:03

Java

网络爬虫 建造 gradle build fatJar 跑步 java -jar build/libs/webcrawler-all-1.0.jar startURL depth [poolSize=10] 示例: java -jar build/libs/webcrawler-all-1.0.jar http://ya.ru/ 3 100 待办事项 将parent_id列添加到Page中以进行层次结构构建。 在进行JPA事务之前,请检查URL的全局唯一性。 在生成子项之前,请杀死不是全局唯一的URL。 当深度> 4时,修复“超出了GC开销限制”。


【文件预览】:
webcrawler-master
----settings.gradle(33B)
----src()
--------test()
--------main()
----README.md(476B)
----.gitignore(44B)
----build.gradle(1KB)

网友评论