spark-starter:带有测试套件的示例 Spark 启动应用程序说明字数

时间:2021-06-10 20:21:11
【文件属性】:
文件名称:spark-starter:带有测试套件的示例 Spark 启动应用程序说明字数
文件大小:7KB
文件格式:ZIP
更新时间:2021-06-10 20:21:11
Scala 火花启动器 将此用作编写 Spark 应用程序的入门模板。 包括什么 具有所需依赖项的build.sbt assembly.sbt链接到程序集插件 WordCount火花应用 Spark 的WordCountSpec测试套件 包装罐子 您需要在系统上安装 sbt 来构建应用程序: sbt package 包装一个超级罐子 要构建一个超级罐子: sbt assembly 运行测试套件 sbt test 在本地模式下运行应用程序 spark-submit --class com.cloudwick.spark.WordCountRunner \ --master "local[*]" \ target/scala-2.10/spark-starter_2.10-1.0.jar \ [input_path] \ [output_path] 在集群中运
【文件预览】:
spark-starter-master
----src()
--------test()
--------main()
----build.sbt(811B)
----.gitignore(220B)
----project()
--------plugins.sbt(22B)
--------assembly.sbt(56B)
--------build.properties(20B)
----README.md(1KB)

网友评论