文件名称:aws-etl-glue
文件大小:339KB
文件格式:ZIP
更新时间:2024-03-26 08:55:47
Kotlin
概述 请记住:在下面的链接中,请使用真实的AWS帐户(例如inventale dev沙箱),而不要假冒{9999999} 该项目包含Scala WeatherToParquetJob作业,以使用将数据从样本转换为镶木地板并将其存储到s3存储桶。 代码位于此处: : 输入数据: : input/ 结果数据: : weather/ 您可以使用查询输入和输出数据 请在这里找到完整的使用数据集: : 您可以在此处找到cloudformation基础结构描述符: ./aws/ 二手胶水功能 将输入和输出数据填充到Glue目录中您可以在AWS控制台中看到它们: -1#catalog fo 作为基于Spark的计算引擎,您可以在AWS控制台中查看它们: : region eu-west-1#etl: 类似于Spark DataFrame抽象,不同之处在于每个记录都
【文件预览】:
aws-etl-glue-master
----gradlew.bat(2KB)
----gradlew(5KB)
----gradle.properties(775B)
----buildSrc()
--------.gradle()
--------src()
--------.gitignore(8B)
--------build.gradle.kts(92B)
----resources()
--------weatherAUS_sample.csv(970KB)
----.gitlab-ci.yml(875B)
----gradle()
--------wrapper()
----aws()
--------etl-glue-buckets.cftemplate.yaml(2KB)
--------etl-glue-jobs.cftemplate.yaml(5KB)
----.gitignore(354B)
----etl()
--------src()
--------build.gradle.kts(1KB)
----settings.gradle.kts(383B)
----etl-local()
--------src()
--------build.gradle.kts(416B)
----build.gradle.kts(2KB)
----README.md(3KB)