【文件属性】：
文件名称：mr-roboto：:robot:处理并解析网站的robots.txt文件并提取可操作的信息
文件大小：39KB
文件格式：ZIP
更新时间：2021-02-04 06:20:26
parser parsing extract robots-txt robots
罗博托先生
Roboto先生旨在处理和解析网站的robots.txt文件，从而提供了一个简单的界面来验证是否允许使用特定路径。
Mr-Roboto尚未准备好生产，因此不应在任何关键任务代码库中使用。
【文件预览】：
mr-roboto-master
----index.js(3KB)
----package.json(557B)
----mr-roboto.sublime-project(233B)
----test()
--------match.js(4KB)
--------index.js(77B)
----util.js(709B)
----package-lock.json(86KB)
----.npmignore(49B)
----.gitignore(49B)
----README.md(264B)
----yarn.lock(57KB)