文件名称：robotstxt:Go语言的robots.txt排除协议实现
文件大小：26KB
文件格式：ZIP
更新时间：2024-06-05 23:39:54
go golang web robots-txt golang-library
什么 这是Go语言（golang）的robots.txt排除协议实现。 建造 要构建和运行测试，请在源目录中运行go test。 贡献 热烈欢迎。 如果需要，在README.rst的“谁”部分中添加您的名字。 运行脚本/测试&&脚本/清理&&回显ok 您可以忽略棉绒警告，但其他所有条件都必须通过。 将更改作为请求请求发送或仅将常规补丁发送给当前的维护者（请参阅“谁”）。 谢谢你。 用法 像往常一样，不需要任何特殊的安装，只需要 导入“ github.com/temoto/robotstxt” 运行go get，您就准备好了。 1.解析 首先，您需要解析robots.txt数据。 您可以使用函数FromBytes（body [] byte）（* RobotsData，error）或字符串相同的函数来实现： robots, err := robotstxt.FromBytes([
【文件预览】：
robotstxt-master
----README.rst(3KB)
----.golangci.yml(280B)
----go.mod(88B)
----codecov.yml(55B)
----fuzz.go(559B)
----go.sum(608B)
----parser.go(7KB)
----script()
--------clean(459B)
--------bench(310B)
--------fuzz(412B)
----scanner_test.go(906B)
----.travis.yml(673B)
----robotstxt_test.go(13KB)
----LICENSE(1KB)
----robots.txt-check()
--------main.go(789B)
----_gofuzz()
--------corpus()
----.gitignore(165B)
----google_test.go(5KB)
----scanner.go(3KB)
----robotstxt.go(6KB)