文件名称：hoard
文件大小：198KB
文件格式：ZIP
更新时间：2024-04-19 00:45:07
Go
囤 hoard v。积累（金钱或有价值的物体）并藏起来或存放起来。 Hoard是一个用于随时间收集数据馈送以创建数据湖的应用程序。 对于每个感兴趣的提要，Hoard定期（通常每隔几秒钟）下载提要，将每小时的结果捆绑到存档文件中，然后将这些存档文件存储在对象存储中以供以后检索。 该应用程序最初是为收集纽约市地铁数据而开发的，并且针对周期性在数百毫秒到几分钟之间的提要进行了优化。 Hoard的主要功能之一是它可以与多个副本一起运行，每个副本可以跟踪相同的数据馈送并在存储桶存储中贡献相同的存档文件。 这使得数据收集过程可以抵抗运行Hoard的各个节点上的停机时间，并确保最终的数据湖尽可能完整。
【文件预览】：
hoard-master
----Dockerfile(489B)
----.gitignore(36B)
----next_steps.md(377B)
----LICENCE(1KB)
----README.md(907B)
----tests()
--------deps()
--------README.md(2KB)
--------main_test.go(5KB)
--------actions.go(3KB)
----docs()
--------decision-tree.png(101KB)
--------design-doc.md(21KB)
----.dockerignore(85B)
----go.mod(417B)
----config()
--------config.go(1KB)
----internal()
--------actions()
--------server()
--------monitoring()
--------storage()
--------archive()
--------util()
----go.sum(80KB)
----hoard.go(8KB)
----cmd()
--------hoard.go(6KB)