文件名称：robots-parser:支持通配符（*）匹配的NodeJS robots.txt解析器
文件大小：19KB
文件格式：ZIP
更新时间：2024-05-25 10:46:26
nodejs javascript user-agent robots-txt robots-parser
机器人解析器 NodeJS robots.txt解析器。 目前支持： 用户代理： 允许： 不允许： 网站地图： 抓取延迟： 主持人： 具有通配符（*）和EOL匹配（$）的路径 安装 通过NPM： npm install robots-parser 或通过纱线： yarn add robots-parser 用法 var robotsParser = require ( 'robots-parser' ) ; var robots = robotsParser ( 'http://www.example.com/robots.txt' , [ 'User-agent: *' , 'Disallow: /dir/' , 'Disallow: /test.html' , 'Allow: /dir/test.html' , 'Allow: /test.html' ,
【文件预览】：
robots-parser-master
----index.js(116B)
----package.json(645B)
----readme.md(6KB)
----.github()
--------workflows()
----test()
--------Robots.js(21KB)
----.prettierignore(4B)
----package-lock.json(61KB)
----Robots.js(10KB)
----license.md(1KB)
----.gitignore(33B)