文件名称：streaming-data-lake:在AWS上构建流数据管道
文件大小：6.55MB
文件格式：ZIP
更新时间：2024-05-15 08:06:51
HCL
流数据湖 该项目旨在演示如何在AWS上构建无流数据的无服务器管道。 它包含AWS服务，例如kinesis stream ， kinesis firehose ， s3 ， lambda ， KMS ， System manager等。 怎么跑 该项目由Terraform作为IaC框架进行管理。 您将必须在系统上安装terraform 。 所有其他类似lambda的代码都是在python实现的。 环境变量 - TF_VAR_S3_STREAMING_DATA 建造 tarraform ， pipenv ， python 3.7 ， docker都需要构建应用程序。 - run `sh bin/build_layer.sh` to build lambda layer including all lambda dependencies. During building process, a
【文件预览】：
streaming-data-lake-master
----terraform.tfstate(158B)
----.DS_Store(6KB)
----.python-version(6B)
----src()
--------utils()
--------lambdas()
--------api()
----.vscode()
--------settings.json(107B)
----Pipfile.lock(30KB)
----README.md(912B)
----Pipfile(402B)
----.gitignore(58B)
----mock-data-producers()
--------cloudformation.json(13KB)
--------README.md(143B)
--------template(261B)
--------datagen-cognito-setup.zip(7.22MB)
----bin()
--------build_layer.sh(375B)
--------build_lambdas.sh(199B)
----tf()
--------provider.tf(110B)
--------parameters.tf(605B)
--------dynamodb.tf(306B)
--------kms.tf(249B)
--------lambda.tf(6KB)
--------policy.tf(201B)
--------sqs.tf(738B)
--------var.tf(1KB)
--------glue.tf(1KB)
--------cloudwatch.tf(6KB)
--------kinesis.tf(3KB)
--------s3.tf(391B)