【文件属性】:
文件名称:spark-starter:带有测试套件的示例 Spark 启动应用程序说明字数
文件大小:7KB
文件格式:ZIP
更新时间:2021-06-10 20:21:11
Scala
火花启动器
将此用作编写 Spark 应用程序的入门模板。
包括什么
具有所需依赖项的build.sbt
assembly.sbt链接到程序集插件
WordCount火花应用
Spark 的WordCountSpec测试套件
包装罐子
您需要在系统上安装 sbt 来构建应用程序:
sbt package
包装一个超级罐子
要构建一个超级罐子:
sbt assembly
运行测试套件
sbt test
在本地模式下运行应用程序
spark-submit --class com.cloudwick.spark.WordCountRunner \
--master "local[*]" \
target/scala-2.10/spark-starter_2.10-1.0.jar \
[input_path] \
[output_path]
在集群中运
【文件预览】:
spark-starter-master
----src()
--------test()
--------main()
----build.sbt(811B)
----.gitignore(220B)
----project()
--------plugins.sbt(22B)
--------assembly.sbt(56B)
--------build.properties(20B)
----README.md(1KB)