Hadoop研发在java环境的拓展
一 背景
由于一直使用hadoop streaming形式编写mapreduce程序,所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发,本次实验使用window系统,maven打包,centos系统mapr环境运行。
二 步骤
1 查看hadoop版本,命令 Hadoop version,获得版本号hadoop2.7.0
2 编写pow文件,注意hadoop2.7依赖,
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.0</version>
</dependency>
3 编写java版的WordCount项目(具体java代码略)
4 maven install 下载依赖包并编译成jar包,在target中把jar包考到集群。
5mapr集群中输入命令运行项目:
hadoop jar maven-hadoop-java-wordcount-template-0.0.1-SNAPSHOT.jar com.example.Driver input output
6实验结果。
运行成功,截图1
截图2
三 附录
eclipse中项目的路径结构
本人将项目源码放在github
https://github.com/rongyux/Hadoop_Maven_Java_HellloWorld