文件名称:DeDuplicator (Heritrix add-on)-开源
文件大小:403KB
文件格式:ZIP
更新时间:2024-07-24 21:47:26
开源软件
DeDuplicator 是网络爬虫 Heritrix 的附加模块(插件)。 它提供了一种减少在一系列快照爬网中收集的重复数据量的方法。
【文件预览】:
bin
----dedupdigest(888B)
LICENSE_DeDuplicator.txt
lib
----lucene-core-2.0.0.jar(394KB)
----deduplicator-0.4.0.jar(36KB)