spark-scala-maven-boilerplate-project:这是一个 Scala 项目的骨架,用 maven 开始使用 Spark

时间:2024-06-28 14:05:22
【文件属性】:

文件名称:spark-scala-maven-boilerplate-project:这是一个 Scala 项目的骨架,用 maven 开始使用 Spark

文件大小:4KB

文件格式:ZIP

更新时间:2024-06-28 14:05:22

Scala

指示: 修改“MainExample.scala”类编写您的 Spark 代码,然后使用以下命令编译项目: mvn clean package 在/target文件夹中,您将找到名为spark-scala-maven-project-0.0.1-SNAPSHOT-jar-with-depencencies.jar的结果胖 jar。 要启动 Spark 作业,请在配置了 Spark 环境的 shell 中使用以下命令: spark-submit --class com.examples.MainExample \ --master yarn-cluster \ spark-scala-maven-project-0.0.1-SNAPSHOT-jar-with-depencencies.jar \ inputhdfspath \ outputhdfspath 参数in


【文件预览】:
spark-scala-maven-boilerplate-project-master
----.gitignore(52B)
----README.md(1KB)
----pom.xml(3KB)
----src()
--------main()

网友评论