文件名称：shovel:wget 为多线程网页抓取提供动力的 Go 程序
文件大小：29KB
文件格式：ZIP
更新时间：2024-06-27 04:49:47
Go
铲 wget 为多线程网页抓取提供动力的 Go 程序 ###跑步铲： 安装 golang (osx)： brew install hg brew install go 拉回购： git clone https://github.com/phact/shovel.git 跑铲： go run shovel.go 配置： 你的 URL 列表在 data/urls.txt 中 默认情况下，我们一次运行 100 个 wget 线程。 更改 maxFutures int 以更改并发作业的数量。
【文件预览】：
shovel-master
----data()
--------urls.txt(83KB)
----README.md(407B)
----shovel.go(2KB)