文件名称：go-crawler:只是一个很棒的爬虫
文件大小：9KB
文件格式：ZIP
更新时间：2024-07-18 10:22:41
Go
爬行者 只是一个很棒的爬虫 可配置 - 并发 快速浏览 package main import ( "fmt" "github.com/ddo/go-crawler" ) func main () { //counter, just for better log no := 0 /* default limit: 10 default client: timeout 10s default filter: http(s), no duplicated default scope: http(s), no duplicated, same host only */ c , err := crawler . New ( & crawler. Config {
【文件预览】：
go-crawler-master
----fetcher_test.go(430B)
----filter_test.go(1KB)
----crawler.go(3KB)
----filter.go(787B)
----picker_test.go(649B)
----.travis.yml(594B)
----example()
--------simple.go(1KB)
--------no_external_url.go(1KB)
----LICENSE(1KB)
----fetcher.go(863B)
----README.md(2KB)
----Makefile(129B)
----crawler_test.go(1KB)
----picker.go(722B)