文件名称：robots-txt-parser:适用于Node.js的轻量级robots.txt解析器，支持通配符，缓存和Promise
文件大小：25KB
文件格式：ZIP
更新时间：2024-05-20 01:00:06
javascript parser robots-txt node-js robots-parser
robots-txt解析器 适用于Node.js的轻量级robots.txt解析器，支持通配符，缓存和Promise。 正在安装 通过NPM： npm install robots-txt-parser --save 。 入门 安装robots-txt-parser后，需要对其进行初始化： const robotsParser = require ( 'robots-txt-parser' ) ; const robots = robotsParser ( { userAgent : 'Googlebot' , // The default user agent to use when looking for allow/disallow rules, if this agent isn't listed in the active robots.txt, we use *.
【文件预览】：
robots-txt-parser-master
----.gitignore(578B)
----README.md(9KB)
----test()
--------robots()
--------test-data()
--------parser()
--------util()
----LICENSE(1KB)
----package.json(1KB)
----src()
--------parser.js(4KB)
--------util.js(1KB)
--------index.js(83B)
--------robots.js(5KB)
--------get.js(306B)