文件名称:spark-emr-example:在 EMR 上开始使用 Spark 的简短模板
文件大小:5KB
文件格式:ZIP
更新时间:2024-07-20 16:32:35
Scala
介绍 在 EMR 上开始使用 Spark 的简单教程。 这也可以用作设置本地开发环境的模板。 依赖关系 [Spark 1.2.0] ( ) -- 用于在本地测试您的应用程序。 [AWS CLI] ( ) [SBT] ( ) 建造 开始使用 Spark 开发环境 git clone https://github.com/abhibond/spark-emr-example.git cd spark-emr-example sbt assembly 跑步 在本地运行 YOUR_SPARK_HOME/bin/spark-submit \ --class "com.abhibon.spark.WordCount" \ --master local[4] \ /Path-To-Your-Fat-Jar Arguments 在 EMR 上运行 使用 Spark 启动 EMR 始终尝试使
【文件预览】:
spark-emr-example-master
----src()
--------main()
----build.sbt(2KB)
----.gitignore(152B)
----project()
--------assembly.sbt(56B)
--------build.properties(18B)
----README.md(3KB)