heritrix3：Heritrix是Internet Archive的开源，可扩展，网络规模，档案质量的网络爬虫项目

【文件属性】：
文件名称：heritrix3：Heritrix是Internet Archive的开源，可扩展，网络规模，档案质量的网络爬虫项目
文件大小：2.79MB
文件格式：ZIP
更新时间：2021-02-03 20:08:32
java warc heritrix webcrawling JavaJava Heritrix 介绍 Heritrix是Internet档案馆的开源，可扩展，网络规模，档案质量的网络爬虫项目。 Heritrix（有时拼写为heretrix，或者拼写错误或拼写错误，如heratrix / heritix / heretix / heratix）是女继承人（继承的女人）的古语。 由于我们的搜寻器致力于收集和保存我们文化的数字文物，以造福未来研究人员和后代，因此这个名称似乎很贴切。 爬行操作员！ Heritrix旨在遵守排除指令和。 请考虑您的抓取将对种子站点施加的负载，并相应地设置礼貌策略。 另外，请始终User-Agent中的联系信息来标识您的爬网，以便可能受到爬网影响