文件名称：pholcus:Pholcus幽灵蛛是一款Go语言编写的爬虫软件框架（含GUI界面），优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，并且考虑了支持分布式布局
文件大小：91KB
文件格式：ZIP
更新时间：2024-06-21 09:16:02
Go
pholcus Pholcus（幽灵蛛）是一款Go语言编写的爬虫软件框架（含GUI界面），优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，并且考虑了支持分布式布局。 安装幽灵蛛 go get github.com/henrylee2cn/pholcus
【文件预览】：
pholcus-master
----main.manifest(490B)
----pholcus()
--------crawler()
--------keeper()
--------node()
--------status()
--------pholcus.go(1019B)
--------gui()
--------socket()
----spiders()
--------alibaba.go(4KB)
--------taobaosearch.go(4KB)
--------googlesearch.go(4KB)
--------hollandandbarrett.go(5KB)
--------miyabaobei.go(4KB)
--------baidusearch.go(3KB)
--------baidunews.go(6KB)
--------wangyi.go(6KB)
--------readme.md(4KB)
--------jdsearch.go(4KB)
--------kaola.go(3KB)
--------shunfenghaitao.go(3KB)
--------spider()
----doc()
--------project.png(24KB)
--------GUI编译命令.txt(117B)
--------ICON.ico(9KB)
----scheduler()
--------scheduler.go(1KB)
--------src_manage.go(1KB)
----main.go(99B)
----README.md(388B)
----config()
--------config.go(1KB)
----downloader()
--------downloader_http.go(9KB)
--------context()
--------downloader.go(368B)
----common()
--------deduplicate()
--------mlog()
--------etc_config()
--------util()
--------queue()
--------config()
----reporter()
--------reporter.go(128B)
--------report.go(404B)
----pipeline()
--------pipeline.go(1KB)
--------collector()