文件名称：crawlbot:一个简单、高效、灵活的网络爬虫蜘蛛
文件大小：9KB
文件格式：ZIP
更新时间：2024-07-29 19:55:22
Go
爬行机器人 CrawlBot 是一个简单、高效、灵活的网络爬虫/蜘蛛。 CrawlBot 易于开箱即用，但也为高级用户提供了广泛的灵活性。 package main import ( "fmt" "github.com/phayes/crawlbot" "log" ) func main () { crawler := NewCrawler ( "http://cnn.com" , myURLHandler , 4 ) crawler . Start () crawler . Wait () } func myURLHandler ( resp * crawlbot. Response ) { if resp . Err != nil { log . Fatal ( resp . Err ) } fmt . Println ( "Found URL at " +
【文件预览】：
crawlbot-master
----doc.go(1KB)
----crawlbot.go(8KB)
----worker.go(3KB)
----LICENSE.md(2KB)
----defaults.go(2KB)
----README.md(2KB)
----urls.go(2KB)