【文件属性】:
文件名称:spark-emr-example:在 EMR 上开始使用 Spark 的简短模板
文件大小:5KB
文件格式:ZIP
更新时间:2021-06-30 22:45:55
Scala
介绍
在 EMR 上开始使用 Spark 的简单教程。 这也可以用作设置本地开发环境的模板。
依赖关系
[Spark 1.2.0] ( ) -- 用于在本地测试您的应用程序。
[AWS CLI] ( )
[SBT] ( )
建造
开始使用 Spark 开发环境
git clone https://github.com/abhibond/spark-emr-example.git
cd spark-emr-example
sbt assembly
跑步
在本地运行
YOUR_SPARK_HOME/bin/spark-submit \
--class "com.abhibon.spark.WordCount" \
--master local[4] \
/Path-To-Your-Fat-Jar Arguments
在 EMR 上运行
使用 Spark 启动 EMR
始终尝试使
【文件预览】:
spark-emr-example-master
----src()
--------main()
----build.sbt(2KB)
----.gitignore(152B)
----project()
--------assembly.sbt(56B)
--------build.properties(18B)
----README.md(3KB)