文件名称:kinesis-consumer:Golang库,用于消耗Kinesis流数据
文件大小:341KB
文件格式:ZIP
更新时间:2024-05-28 15:11:29
go golang stream kinesis kinesis-consumer
Golang Kinesis消费者 注意:此回购协议正在积极开发中,添加了 。 主机应始终可部署,但在接下来的几个月中,主机中的接口可能会发生变化。 最新的稳定版本 用Go编写的Kinesis消费者应用程序。 该库旨在用作Kinesis API的轻量级包装,以读取记录,保存检查点(具有可交换的后端)以及从服务超时/错误中正常恢复。 替代的无服务器选项: 可用于将数据直接存档到S3,Redshift或Elasticsearch,而无需运行使用者应用程序。 进行无服务器处理和检查点管理。 安装 获取软件包源: $ go get github.com/harlow/kinesis-consumer 概述 消费者利用接受Kinesis记录的处理程序函数。 Scan方法将同时使用所有分片,并在从流中接收记录时调用回调函数。 重要事项1:“ Scan功能还将轮询流以检查是否有新的分片,它
【文件预览】:
kinesis-consumer-master
----.travis.yml(141B)
----allgroup.go(2KB)
----cmd()
--------consumer-postgres()
--------consumer()
--------consumer-redis()
--------consumer-mysql()
--------producer()
--------consumer-dynamo()
----consumer_test.go(9KB)
----options.go(2KB)
----LICENSE(1KB)
----logger.go(401B)
----CONTRIBUTING.md(436B)
----counter.go(266B)
----.gitignore(453B)
----CHANGELOG.md(1KB)
----consumer.go(7KB)
----go.sum(21KB)
----README.md(11KB)
----kinesis.go(748B)
----group.go(349B)
----go.mod(649B)
----store()
--------memory()
--------mysql()
--------redis()
--------postgres()
--------ddb()
----store.go(465B)