文件名称：robots:在Go中解析robots.txt文件
文件大小：17KB
文件格式：ZIP
更新时间：2024-06-06 11:54:50
Go
机器人 该软件包以Go编程语言为Robots Exclusion Protocol提供了robots.txt解析器。 该实现遵循。 该代码简单明了。 此程序包公开的结构仅包含基本数据类型，因此可以使用Go的encoding程序包之一轻松对其进行编码和解码。 尽管性能不是设计目标，但此程序包绝不应该成为程序的瓶颈。 安装 跑步 go get github.com/slyrz/robots 例子 robots := robots . New ( file , "your-user-agent" ) if robots . Allow ( "/some/path" ) { // Crawl it! // ... } 执照 机器人是根据MIT许可发布的。 您可以在文件中找到MIT许可证的副本。
【文件预览】：
robots-master
----testdata()
--------test01.txt(920B)
--------test06.txt(290B)
--------test03.txt(662B)
--------test10.txt(668B)
--------test07.txt(161B)
--------test09.txt(446B)
--------benchmark.txt(26KB)
--------test05.txt(120B)
--------test08.txt(239B)
--------test11.txt(333B)
--------test04.txt(409B)
--------test02.txt(515B)
----robots.go(9KB)
----LICENSE(1KB)
----README.md(880B)
----robots_test.go(2KB)