文件名称:growler:一个用 Go 编写的简单的多线程网络爬虫和镜像器
文件大小:8KB
文件格式:ZIP
更新时间:2024-07-29 03:04:20
Go
咆哮者 一个用 Go 编写的简单的多线程网络爬虫和镜像器。 建造 使用或检索依赖项后: go get ./... 您可以使用以下命令构建二进制文件: go build 用法 ./growler -src http://example.com/directory -dst my-directory 将http://example.com/directory所有文件和目录复制到my-directory 。 例如http://example.com/directory/images/image.jpg将存储为my-directory/images/image.jpg 。 如果 Growler 发现文件在服务器上的大小相同并且自上次下载文件以来没有被修改,则它不会下载文件。 您可以使用-force-download关闭此-force-download 您可以设置-num-downlo
【文件预览】:
growler-master
----main.go(8KB)
----.go.yaml(139B)
----config()
--------config.go(1KB)
----LICENSE(1KB)
----README.md(969B)
----stats()
--------stats.go(750B)
----.gitignore(20B)
----tracker()
--------tracker.go(692B)
----support()
--------growler_graph.sh(824B)