Robots.io:Robots.txt解析库-开源

【文件属性】：

文件名称：Robots.io:Robots.txt解析库-开源

文件大小：285KB

文件格式：JAR

更新时间：2024-06-04 04:09:42

开源软件

Robots.io是一个Java库，旨在简化网站“ robots.txt”文件的解析。 RobotsParser类提供了使用robots.io的所有功能。 传递给RobotsParser的域被规范化为始终以正斜杠结尾。 不允许的路径绝不会以正斜杠开头。 这样一来，URL即可轻松构建。