文件名称:heritrix网络爬虫
文件大小:32.26MB
文件格式:ZIP
更新时间:2021-07-19 06:57:44
网络爬虫 heritrix
Heritrix是一个开源,可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。
【文件预览】:
hertrix1.14.4压缩包和源码
----heritrix-1.14.4-src.zip(10.54MB)
----Heritrix1.14.4.zip(21.72MB)