DeDuplicator (Heritrix add-on)-开源

时间:2024-07-24 21:47:26
【文件属性】:

文件名称:DeDuplicator (Heritrix add-on)-开源

文件大小:403KB

文件格式:ZIP

更新时间:2024-07-24 21:47:26

开源软件

DeDuplicator 是网络爬虫 Heritrix 的附加模块(插件)。 它提供了一种减少在一系列快照爬网中收集的重复数据量的方法。


【文件预览】:
bin
----dedupdigest(888B)
LICENSE_DeDuplicator.txt
lib
----lucene-core-2.0.0.jar(394KB)
----deduplicator-0.4.0.jar(36KB)

网友评论