【文件属性】：
文件名称：go-crawler:只是一个很棒的爬虫
文件大小：9KB
文件格式：ZIP
更新时间：2021-06-28 16:36:01
Go
爬行者
只是一个很棒的爬虫
可配置 - 并发
快速浏览
package main
import (
"fmt"
"github.com/ddo/go-crawler"
)
func main () {
//counter, just for better log
no := 0
/*
default limit: 10
default client: timeout 10s
default filter: http(s), no duplicated
default scope: http(s), no duplicated, same host only
*/
c , err := crawler . New ( & crawler. Config {
【文件预览】：
go-crawler-master
----fetcher_test.go(430B)
----filter_test.go(1KB)
----crawler.go(3KB)
----filter.go(787B)
----picker_test.go(649B)
----.travis.yml(594B)
----example()
--------simple.go(1KB)
--------no_external_url.go(1KB)
----LICENSE(1KB)
----fetcher.go(863B)
----README.md(2KB)
----Makefile(129B)
----crawler_test.go(1KB)
----picker.go(722B)