文件名称:spark-kinesis-redshift:使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目
文件大小:24KB
文件格式:ZIP
更新时间:2024-06-06 17:32:03
python shell aws spark etl
Apache Spark Kinesis使用者 使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目 来自以下内容的代码: 用法示例 您需要在您的环境上设置Amazon Credentials。 export AWS_ACCESS_KEY_ID= " " export AWS_ACCESS_KEY= " " export AWS_SECRET_ACCESS_KEY= " " export AWS_SECRET_KEY= " " 依存关系 必须包含在--packages标志中。 org.apache.spark:spark-streaming-kinesis-asl_2.10:1.6.1 设置 如何在本地运行Kinesis? 几个月前,我使用Kinesalite(amazin项目来模拟Amazon Kinesis)创建了
【文件预览】:
spark-kinesis-redshift-master
----stream.py(2KB)
----run.sh(299B)
----README.md(1KB)
----header.jpg(24KB)