文件名称：Scrago:一个简单的go并发爬虫 A simple concurrcy spider with go
文件大小：13KB
文件格式：ZIP
更新时间：2024-07-14 11:42:12
Go
scrago 一个简单的go并发爬虫框架 A simple concurrcy spider with go ##介绍 ##简单使用 func main() { //创建一个控制器，这里有4个必须给与的参数： //爬取的初始url，爬取深度，解析函数，储存函数 //basic.InitConfig() //配置Config需要先初始化 //basic.Config.HttpHeader["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) " + // "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36" controller := controller.NewController("http://z3lion.com/", 1,
【文件预览】：
Scrago-master
----.gitignore(880B)
----main.go(2KB)
----README.md(2KB)
----.gitattributes(378B)
----middleware()
--------workpool.go(240B)
--------channel.go(753B)
----basic()
--------items.go(121B)
--------request.go(347B)
--------config.go(1KB)
--------links.go(270B)
--------check.go(627B)
--------logging.go(9KB)
--------response.go(356B)
----processor()
--------processor.go(959B)
----controller()
--------controller.go(5KB)
--------signal.go(803B)
----analyzer()
--------analyzer.go(613B)
----downloader()
--------downloader.go(705B)