【文件属性】:
文件名称:spark-scala-maven-boilerplate-project:这是一个 Scala 项目的骨架,用 maven 开始使用 Spark
文件大小:4KB
文件格式:ZIP
更新时间:2021-06-08 20:18:42
Scala
指示:
修改“MainExample.scala”类编写您的 Spark 代码,然后使用以下命令编译项目:
mvn clean package
在/target文件夹中,您将找到名为spark-scala-maven-project-0.0.1-SNAPSHOT-jar-with-depencencies.jar的结果胖 jar。 要启动 Spark 作业,请在配置了 Spark 环境的 shell 中使用以下命令:
spark-submit --class com.examples.MainExample \
--master yarn-cluster \
spark-scala-maven-project-0.0.1-SNAPSHOT-jar-with-depencencies.jar \
inputhdfspath \
outputhdfspath
参数in
【文件预览】:
spark-scala-maven-boilerplate-project-master
----.gitignore(52B)
----README.md(1KB)
----pom.xml(3KB)
----src()
--------main()