【文件属性】:
文件名称:spark-kinesis-redshift:使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目
文件大小:24KB
文件格式:ZIP
更新时间:2021-05-17 23:45:23
python shell aws spark etl
Apache Spark Kinesis使用者
使用Apache Spark使用AWS Kinesis流化并将数据保存在Amazon Redshift上的示例项目
来自以下内容的代码:
用法示例
您需要在您的环境上设置Amazon Credentials。
export AWS_ACCESS_KEY_ID= " "
export AWS_ACCESS_KEY= " "
export AWS_SECRET_ACCESS_KEY= " "
export AWS_SECRET_KEY= " "
依存关系
必须包含在--packages标志中。
org.apache.spark:spark-streaming-kinesis-asl_2.10:1.6.1
设置
如何在本地运行Kinesis?
几个月前,我使用Kinesalite(amazin项目来模拟Amazon Kinesis)创建了
【文件预览】:
spark-kinesis-redshift-master
----stream.py(2KB)
----run.sh(299B)
----README.md(1KB)
----header.jpg(24KB)