【文件属性】:
文件名称:aws-experiments-data-ingestion-and-analytics:通过Amazon Kinesis Firehose和Kinesis Data Analytics提取出价请求。 Amazon S3的数据湖存储。 使用Amazon QuickSight和CloudWatch恢复原状。 :chart_decreasing:
文件大小:4.54MB
文件格式:ZIP
更新时间:2021-05-17 08:56:52
aws aws-lambda aws-s3 aws-cloudwatch aws-kinesis-firehose
适用于出价请求的AWS无服务器Data Lake
该实验模拟了将出价请求的数据吸收到部署在AWS上的无服务器数据湖和数据分析管道的过程。 结果,您将获得一个实时仪表板和一个BI工具来分析您的出价请求流。 实时仪表板概述。
使用中的服务:
用于数据提取,
用于数据增强,
用于数据存储,
用于发布近实时度量,
用于数据可视化,
用于近实时数据可视化,
用于模拟出价请求的 。
本实验的来自于2014年发布的。 如果您好奇或想进一步推广Criteo数据集,可以参考其2015年和相关。
只要有可能,此实验就会利用部署所需的基础架构。
表中的内容
架构概述
先决条件
实验部署
下载必要的数据
生成CDK应用程序
部署堆栈并上传数据
部署Amazon QuickSight
准备清单文件
报名
创建数据集
探索演示
启动实验
启动制作人
启动Kinesis Data Analyt
【文件预览】:
aws-experiments-data-ingestion-and-analytics-master
----producer-stoper()
--------stop_task.py(363B)
----package.json(991B)
----data()
--------referential.tsv(39B)
--------.gitignore(90B)
----resources()
--------architecture-enhancement.xml(2KB)
--------analytics-lambdaMonitoring.png(237KB)
--------quicksight-finishDataSetCreation.png(283KB)
--------lambda-environmentVariables.png(24KB)
--------ecs-clusterDetails.png(204KB)
--------firehose-s3destination.png(30KB)
--------ecs-cluster.png(160KB)
--------s3-rawdata.png(167KB)
--------analytics-application.png(272KB)
--------cloudWatch-dashboard.png(173KB)
--------architecture-ingestion.png(37KB)
--------architecture-visualization.xml(2KB)
--------ecs-runningTask.png(271KB)
--------architecture-enhancement.png(44KB)
--------architecture-producer.xml(2KB)
--------architecture-producer.png(34KB)
--------architecture-ingestion.xml(2KB)
--------cloudWatch-dashboard.gif(2.04MB)
--------quicksight-dashboard.png(344KB)
--------architecture-visualization.png(53KB)
--------quicksight-importComplete.png(286KB)
--------lambda.png(247KB)
--------architecture.xml(3KB)
--------kinesis-dashboard.png(201KB)
--------quicksight-newS3DataSource.png(273KB)
--------analytics-SQLeditor.png(272KB)
--------architecture.png(67KB)
--------firehose-monitoring.png(157KB)
--------analytics-lambda.png(269KB)
----package-lock.json(95KB)
----visualization()
--------manifest.json(308B)
----enhancement-metrics()
--------main.py(2KB)
----.npmignore(65B)
----tsconfig.json(586B)
----cdk.json(54B)
----producer()
--------main.py(1KB)
--------Dockerfile(391B)
--------requirements.txt(15B)
--------Makefile(344B)
----.gitignore(77B)
----enhancement()
--------enhancement.sql(700B)
----README.md(38KB)
----cdk()
--------bin()
--------lib()
----producer-launcher()
--------run_task.py(779B)
网友评论
相关文章
- amazon-kinesis-analytics-streaming-etl:使用Apache Flink和Amazon Kinesis Data Analytics进行流式ETL
- amazon-kinesis-data-generator:简化了使用Amazon Kinesis Streams和Firehose进行测试的UI。 创建和保存记录模板,并轻松将数据发送到Amazon Kinesis
- amazon-kinesis-agent:连续监控一组日志文件,并将新数据几乎实时地发送到Amazon Kinesis Stream和Amazon Kinesis Firehose
- kinesis-to-s3:将 Amazon Kinesis 数据复制到 Amazon S3