【文件属性】:
文件名称:spark-scala-project-model-maven
文件大小:7KB
文件格式:ZIP
更新时间:2021-02-11 08:02:18
Scala
Spark-Scala Maven项目
这是在Scala中运行Spark的最小Maven项目配置。 该项目有一个泊坞窗来运行spark应用程序。
要求
如何从scala生成jar
在项目文件夹(spark-scala-project-model-maven)中:
mvn compile
mvn package
如何运行Spark Docker容器
要启动Docker容器:
cd spark-scala-project-model-maven/docker-spark
docker-compose up -d
启动容器后,您可以访问的Spark UI。
如何运行Spark应用程序
提交申请:
cd spark-scala-project-model-maven/docker-spark
docker exec -it spark_master spark-submit --maste
【文件预览】:
spark-scala-project-model-maven-master
----src()
--------main()
----README.md(1KB)
----spark-apps()
--------SparkSample-1.0-SNAPSHOT.jar(3KB)
----pom.xml(3KB)
----docker-spark()
--------docker-compose.yml(1KB)
----.gitignore(30B)