s3sync:真正快速的S3同步工具

【文件属性】：

文件名称：s3sync:真正快速的S3同步工具

文件大小：44KB

文件格式：ZIP

更新时间：2024-06-03 09:03:54

golang sync amazon s3 multithreading

S3Sync 真正快速的S3同步工具 特征 多线程文件下载/上传 可以同步到多种方式： S3到本地FS 本地FS到S3 S3至S3 重试错误 实时统计 速率限制 带宽限速 扩展，内容类型，ETag和对象mtime灵活的过滤器 关键功能：极高的速度。 S3的平均列出速度约为5k个对象/秒。 有了128名工作人员，我们得到的平均同步速度约为2k obj / sec（小对象1-20 kb）（受1Gb上行链路限制）。 局限性 每个对象都加载到RAM中。 因此，您需要 * RAM。 如果没有足够的RAM，则可以使用swap。 SSD上的大型（32-64 Gb）交换不会影响工具性能。 发生这种情况是因为该工具旨在同步数十亿个小文件，并针对此工作负载进行了优化。 用法 >> s3sync --help Really fast sy

【文件预览】：
s3sync-master
----.travis.yml(745B)
----.goreleaser.yml(700B)
----pipeline()
--------collection()
--------step.go(1KB)
--------error.go(2KB)
--------main.go(4KB)
----.github()
--------workflows()
----Dockerfile(324B)
----LICENSE(34KB)
----storage()
--------storage.go(2KB)
--------error_handling.go(1001B)
--------fs()
--------s3()
--------utils.go(2KB)
----.gitignore(350B)
----go.sum(5KB)
----.dockerignore(43B)
----README.md(9KB)
----go.mod(402B)
----cli()
--------cli.go(9KB)
--------setup.go(6KB)
--------main.go(3KB)
--------print.go(2KB)