spark-kinesis-redshift:使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目

时间:2024-06-06 17:32:03
【文件属性】:

文件名称:spark-kinesis-redshift:使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目

文件大小:24KB

文件格式:ZIP

更新时间:2024-06-06 17:32:03

python shell aws spark etl

Apache Spark Kinesis使用者 使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目 来自以下内容的代码: 用法示例 您需要在您的环境上设置Amazon Credentials。 export AWS_ACCESS_KEY_ID= " " export AWS_ACCESS_KEY= " " export AWS_SECRET_ACCESS_KEY= " " export AWS_SECRET_KEY= " " 依存关系 必须包含在--packages标志中。 org.apache.spark:spark-streaming-kinesis-asl_2.10:1.6.1 设置 如何在本地运行Kinesis? 几个月前,我使用Kinesalite(amazin项目来模拟Amazon Kinesis)创建了


【文件预览】:
spark-kinesis-redshift-master
----stream.py(2KB)
----run.sh(299B)
----README.md(1KB)
----header.jpg(24KB)

网友评论