文件名称:go语言单并发版爬虫--crawler-v1-v4
文件大小:189KB
文件格式:ZIP
更新时间:2024-03-19 10:47:05
go语言爬虫 并发爬虫 crawler 并发调度器
go语言单并发版爬虫--crawler-v1-v4 crawler-v1-v4 资源中包含一个完成的go语言并发爬虫案例,其中v1为goroutine+多worker,v2为request+worker双队列,v3将其主模块优化为同时支持v1和v2,v4继续新增多城市访问+排除重复的信息; 该案例非常适合作为go语言入门的练手案例; 更多详细信息参考笔者博文: [golang笔记16--go语言并发版爬虫](https://blog.csdn.net/u011127242/article/details/114161224)
【文件预览】:
crawler-v1-v4
----crawler-v2()
--------fetcher()
--------zhenai()
--------mian.go(575B)
--------scheduler()
--------engine()
----crawler-v3()
--------fetcher()
--------zhenai()
--------mian.go(575B)
--------scheduler()
--------engine()
----crawler-v4()
--------fetcher()
--------zhenai()
--------mian.go(575B)
--------scheduler()
--------engine()
----crawler-v1()
--------fetcher()
--------zhenai()
--------mian.go(415B)
--------scheduler()
--------engine()