文件名称:kinesis-streams-fan-out-kinesis-analytics:Amazon Kinesis通过Kinesis Analytics(由Serverless Framework支持)通过Streams进行扇出
文件大小:16KB
文件格式:ZIP
更新时间:2024-02-20 11:24:58
aws aws-lambda serverless kinesis serverless-framework
Amazon Kinesis通过Kinesis Analytics进行扇出-用 Amazon Kinesis Analytics可以扇出您的Kinesis Streams并避免读取限制。 每个Kinesis Streams分片可支持的最大总数据读取速率为2 MBps (最多5个事务),并且最大的总数据写入速率为1 MBps (最多1,000条记录)。 即使您提供了足够的写入容量,也无法随意连接任意数量的使用者,尤其是使用AWS Lambda,因为您将轻松达到读取容量。 例如,如果您有10个分片,并且每秒推送8,000个事件,每个事件平均大小为1KB,那么您将达到写入容量的80%(10MBps中有8MBps)。 如果您连接了三个使用者,那么您将尝试读取大约24MBps(高于最大读取容量20MBps)。 您可以使用AWS Lambda(资源)实现扇出,但是您必须自己处理API调用并重试问题,以避免跨输出通道重复事件。 该存储库是一个参考体系结构,用于解决Kinesis Analytics的扇出问题,后者可以将数据从输入流传输到多个输出流(或Firehose交付流)。 (图像来
【文件预览】:
kinesis-streams-fan-out-kinesis-analytics-master
----kinesis-analytics()
--------putRecords.js(1KB)
--------discover.js(1KB)
--------toggle.js(2KB)
--------input-schema.json(257B)
--------create.js(3KB)
--------query.sql(619B)
--------delete.js(1KB)
----lambda()
--------handler.js(692B)
----package.json(982B)
----LICENSE(11KB)
----serverless.yml(3KB)
----.gitignore(883B)
----README.md(7KB)