文件名称:dynamodb-cdc:更改数据捕获(CDC)解决方案,用于捕获动态模型表中的值更改
文件大小:143KB
文件格式:ZIP
更新时间:2024-05-28 17:16:59
JavaScript
DynamoDB更改数据捕获(CDC) 将此代码用作参考架构模型,以记录对DynamDB记录的更改。 通过将所有更改发送到由Lambda函数处理的DynamoDB流中来进行工作,该Lambda函数会将更改后的值提交给Kinesis Firehose。 Firehose会将行转换为Parquet格式。 当新的parteqt文件在S3上删除时,它们将通过触发lambda“在S3 create上”事件而被添加到粘合模式中。 在Athena中,您可以提交查询以查看审计日志中的所有更改,也可以构建视图以重建当前值以进行查询。 CDC表的胶水架构 用户更改查询示例 现在,您可以查询完整的审核/事件日志,并且可以在需要重新创建表(例如,最新值)的视图的情况下,开始将信息联接起来。 促成此查询以创建一个返回最新值的视图。 接下来,您可以构建表特定的视图,如下所示: 现在,您可以查询特定于
【文件预览】:
dynamodb-cdc-master
----template.yaml(2KB)
----AddPartition()
--------index.js(2KB)
----DeleteData.json(260B)
----docs()
--------changeSchema.png(21KB)
--------userChangesQuery.png(93KB)
--------user-view-profile.sql(808B)
--------filteringLatestValuesOnView.png(32KB)
--------latestvalues.sql(654B)
----DataChangeHandler()
--------index.js(3KB)
----readme.md(2KB)
----GetUserPartitions()
--------index.js(831B)
--------lambda-payloads.json(317B)