一、下载示例代码:
git clone https://github.com/melphi/spark-examples.git
从示例代码中可以看到 pox中引入了 Spark开发所需要的依赖。
二、把代码导入 IDE
IDE应该会识别这是 Maven项目,在IDE中打包:
打包后,在项目根目录中,target文件夹内会生成文件 first-example-1.0-SNAPSHOT.jar
运行该程序
命令为:
bin/spark-submit --class org.sparkexample.WordCount --master local[2] D:\first-example\target\spark-examples-1.0-SNAPSHOT.jar F:\test\input.txt F:\NJU\test\output
具体语法请见:http://spark.apache.org/docs/latest/submitting-applications.html
查看结果
F:\test\output 中能看到词频统计的结果