spark-starter:带有测试套件的示例 Spark 启动应用程序说明字数

时间:2024-06-30 14:07:51
【文件属性】:

文件名称:spark-starter:带有测试套件的示例 Spark 启动应用程序说明字数

文件大小:7KB

文件格式:ZIP

更新时间:2024-06-30 14:07:51

Scala

火花启动器 将此用作编写 Spark 应用程序的入门模板。 包括什么 具有所需依赖项的build.sbt assembly.sbt链接到程序集插件 WordCount火花应用 Spark 的WordCountSpec测试套件 包装罐子 您需要在系统上安装 sbt 来构建应用程序: sbt package 包装一个超级罐子 要构建一个超级罐子: sbt assembly 运行测试套件 sbt test 在本地模式下运行应用程序 spark-submit --class com.cloudwick.spark.WordCountRunner \ --master "local[*]" \ target/scala-2.10/spark-starter_2.10-1.0.jar \ [input_path] \ [output_path] 在集群中运


【文件预览】:
spark-starter-master
----src()
--------test()
--------main()
----build.sbt(811B)
----.gitignore(220B)
----project()
--------plugins.sbt(22B)
--------assembly.sbt(56B)
--------build.properties(20B)
----README.md(1KB)

网友评论