kinsumer:适用于AWS Kinesis流的Native Go使用者

时间:2024-05-26 12:53:43
【文件属性】:

文件名称:kinsumer:适用于AWS Kinesis流的Native Go使用者

文件大小:41KB

文件格式:ZIP

更新时间:2024-05-26 12:53:43

go golang kinesis Go

金森 适用于AWS Kinesis流的Native Go使用者。 基本原理 有几种非常好的方式来使用Kinesis流,主要是 ,建议将其作为一种选择进行研究。 Kinsumer是为希望每个客户端从多个分片中使用的Go客户端群集设计的。 Kinsumer设计为至少一次,但要努力做到完全一次。 Kinsumer在设计上不会尝试将分片保留在特定的客户端上,而是会根据需要将它们洗牌。 行为 Kinsumer旨在适应运动消耗的特定用例,尤其是当您需要有多个分别处理多个分片的客户端并且您不在乎哪个客户端正在使用哪个分片时。 每当Kinsumer检测到分片列表或客户端列表已更改,并且不会尝试将分片保留在同一客户端上时,它将重新平衡每个客户端的分片。 如果您针对单个流运行多个Kinsumer应用程序,请确保将节流延迟至少增加到50ms + (200ms * <the number of reader


【文件预览】:
kinsumer-master
----.travis.yml(328B)
----mocks()
--------dynamo.go(11KB)
--------dynamo_test.go(3KB)
----NOTICE.txt(82B)
----shard_consumer.go(7KB)
----cmd()
--------noopkinsumer()
----kinsumer_test.go(17KB)
----checkpoints_test.go(3KB)
----config_test.go(2KB)
----errors.go(2KB)
----LICENSE(5KB)
----clients.go(4KB)
----logger.go(409B)
----checkpoints.go(8KB)
----config.go(5KB)
----noopstatreceiver.go(657B)
----kinsumer.goconvey(7B)
----kinsumer.go(16KB)
----.gitignore(709B)
----leader.go(10KB)
----go.sum(3KB)
----README.md(3KB)
----statreceiver.go(1KB)
----statsd()
--------statsd.go(2KB)
----LICENSE.txt(5KB)
----go.mod(353B)

网友评论