文件名称：fetchbot：一个简单而灵活的Web爬网程序，它遵循robots.txt策略和爬网延迟
文件大小：31KB
文件格式：ZIP
更新时间：2024-03-15 21:21:02
crawler robots-txt Go
抓取机器人 软件包fetchbot提供了一个简单而灵活的Web搜寻器，它遵循robots.txt策略和搜寻延迟。 它是使用更简单的API，更少的内置功能，但同时具有更大灵活性的对的重写。 至于Go本身，有时少即是多！ 安装 要安装，只需在终端中运行： go get github.com/PuerkitoBio/fetchbot 该软件包具有单个外部依赖项 。 它还集成了代码。 。 变化 2019-09-11（v1.2.0）：更新robotstxt依赖项（由于提出了问题，导入路径/仓库URL已更改，问题＃31）。 2017-09-04（v1.1.1）：修复取消队列时的goroutine泄漏（问题＃26，感谢提出了问题）。 2017-07-06（v1.1.0）：添加Queue.Done以获取队列中已完成的通道，从而允许在select语句中等待（感谢 ）。 2015-07-25（v
【文件预览】：
fetchbot-master
----.travis.yml(160B)
----handler.go(8KB)
----misc()
--------git()
----example()
--------short()
--------shortauto()
--------full()
----iq_slice.go(2KB)
----doc.go(6KB)
----cmd_test.go(9KB)
----LICENSE(1KB)
----.gitignore(97B)
----go.sum(2KB)
----README.md(8KB)
----cmd.go(3KB)
----handler_test.go(4KB)
----fetch.go(14KB)
----fetch_test.go(19KB)
----go.mod(136B)