文件名称：hank:Go 应用程序将 Amazon S3 存储桶备份到本地目录，使用并行下载提高性能
文件大小：5KB
文件格式：ZIP
更新时间：2024-08-01 16:09:31
Go
汉克 将 S3 存储桶备份到本地磁盘的快速且脏的脚本，用 Go 编写。 很棒，但在下载大型存储桶时经常会耗尽内存并被 OOM 杀手终止。 我们使用 hank 作为备份工具的一部分，在大约 6 分钟内将包含约 700,000 个文件的约 400GB S3 存储桶同步到相当慢的本地文件系统。 它不检查文件内容，并会跳过本地已经存在的任何内容，假设文件大小匹配。 只关心对象（文件），不会尝试复制目录。 将在本地删除已远程删除的文件，但不会清理由这些文件创建的任何目录。 列出存储桶并遍历文件系统每个都使用一个 goroutine，但下载同时使用 8 个以最大化网络吞吐量。 的包含用于 linux/amd64 和 darwin/amd64 的静态编译的可执行文件，但如果需要，我很乐意将其他架构添加到构建脚本中。 用法 hank --access-key FOO --secret-key B
【文件预览】：
hank-master
----deleter.go(1KB)
----LICENSE(1KB)
----main.go(2KB)
----.gitignore(10B)
----Makefile(345B)
----README.md(1KB)
----utils.go(490B)
----downloader.go(4KB)