文件名称：scala-robots:Scala中的Robots.txt和Sitemap实用程序
文件大小：53KB
文件格式：ZIP
更新时间：2024-05-25 19:01:37
HTML
Scala机器人 包含用于机器人排除和包含协议的实用程序的库。 要使用该库，请从最新版本下载JAR并将其包含在您的项目中。 机器人排除协议 Robots.txt 该库提供了从原始字符串中解析robots.txt文件并构建包含所有已解析规则的抽象robots.txt文件表示形式的功能。 支持的指令是： 允许 不允许 抓取延迟 网站地图 对于Allow / Disallow指令，相对URL路径可能包含与任何字符串（甚至是空字符串）匹配的通配符“ *”，以及与URL末尾匹配的字符串结尾字符“ $”。 对于给定的URL路径，应用更多的Allow / Disallow指令时，将考虑最具体的指令（较长的指令路径）。 如果仍然保持相等，则Allow指令具有优先级。 通配符路径之间的决定是不确定的。 无法识别的指令将被丢弃，注释将被忽略。 阅读有关robots.txt协议的更多信息。 元标记
【文件预览】：
scala-robots-master
----.gitignore(16B)
----project()
--------plugins.sbt(22B)
--------build.properties(20B)
----src()
--------main()
--------test()
----LICENSE.txt(11KB)
----README.md(2KB)
----build.sbt(641B)