文件名称：DeDuplicator (Heritrix add-on)-开源
文件大小：403KB
文件格式：ZIP
更新时间：2024-07-24 21:47:26
开源软件
DeDuplicator 是网络爬虫 Heritrix 的附加模块（插件）。 它提供了一种减少在一系列快照爬网中收集的重复数据量的方法。
【文件预览】：
bin
----dedupdigest(888B)
LICENSE_DeDuplicator.txt
lib
----lucene-core-2.0.0.jar(394KB)
----deduplicator-0.4.0.jar(36KB)