文件名称：robots-txt-parser：PHP类，用于根据规范解析robots.txt文件中的所有指令
文件大小：68KB
文件格式：ZIP
更新时间：2024-02-24 06:06:59
php google yandex robots-txt-parser GoogleDIGITALCommandLanguage
robots-txt解析器 —用于解析robots.txt文件的所有指令PHP类 根据robots.txt规则，用于检查PHP类是允许还是禁止url。 尝试在实时域上在线RobotsTxtParser。 解析是根据Google＆Yandex规范的规则进行的： 最后改进： 根据clean-param语法解析Clean-param指令。 删除注释（“＃”字符之后的所有内容，直到第一个换行符都将被忽略） 主机解析的改进-交集指令，应参考用户代理'*'； 如果有多个主机，则搜索引擎将采用第一个的值。 从该类中删除未使用的方法，完成重构，更正该类的属性范围。 添加了更多的测试用例，以及添加到整个新功能的测试用例。 添加了类，以检查是否允许解析网址。 在2.0版中，RobotsTxtParser的速度得到了显着提高。 支持的指令： DIRECTIVE_ALLOW ='允许'; DIRECTIVE_DISALLOW ='禁止'; DIRECTIVE_HOST ='主机'; DIRECTIVE_SITEMAP ='sitemap'; DIRECTIVE_USERAGENT
【文件预览】：
robots-txt-parser-master
----composer.json(772B)
----.travis.yml(251B)
----phpunit.xml(344B)
----tests()
--------bootstrap.php(299B)
--------RobotsTxtParser()
----LICENSE(1KB)
----src()
--------RobotsTxtParser()
----.gitignore(54B)
----README.md(4KB)