heritrix网络爬虫

时间:2021-07-19 06:57:44
【文件属性】:

文件名称:heritrix网络爬虫

文件大小:32.26MB

文件格式:ZIP

更新时间:2021-07-19 06:57:44

网络爬虫 heritrix

Heritrix是一个开源,可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。


【文件预览】:
hertrix1.14.4压缩包和源码
----heritrix-1.14.4-src.zip(10.54MB)
----Heritrix1.14.4.zip(21.72MB)

网友评论