Spark 跑 java 示例代码

时间:2024-12-21 13:33:37

一、下载示例代码:

git clone https://github.com/melphi/spark-examples.git

从示例代码中可以看到 pox中引入了 Spark开发所需要的依赖。

二、把代码导入 IDE

IDE应该会识别这是 Maven项目,在IDE中打包:
Spark 跑 java 示例代码

打包后,在项目根目录中,target文件夹内会生成文件 first-example-1.0-SNAPSHOT.jar
Spark 跑 java 示例代码

运行该程序

命令为:
bin/spark-submit --class org.sparkexample.WordCount --master local[2] D:\first-example\target\spark-examples-1.0-SNAPSHOT.jar F:\test\input.txt F:\NJU\test\output
Spark 跑 java 示例代码

具体语法请见:http://spark.apache.org/docs/latest/submitting-applications.html

查看结果

F:\test\output 中能看到词频统计的结果
Spark 跑 java 示例代码

本文来源:https://github.com/melphi/spark-examples, 谢谢