Hadoop实战5:MapReduce编程-WordCount统计单词个数-eclipse-java-windows环境

时间:2021-04-24 05:03:44

Hadoop研发在java环境的拓展

一 背景

由于一直使用hadoop streaming形式编写mapreduce程序,所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发,本次实验使用window系统,maven打包,centos系统mapr环境运行。

二 步骤

1 查看hadoop版本,命令 Hadoop version,获得版本号hadoop2.7.0

2 编写pow文件,注意hadoop2.7依赖,

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>2.7.0</version>

</dependency>

3 编写java版的WordCount项目(具体java代码略)

4 maven install 下载依赖包并编译成jar包,在target中把jar包考到集群。

5mapr集群中输入命令运行项目:

hadoop jar maven-hadoop-java-wordcount-template-0.0.1-SNAPSHOT.jar com.example.Driver input output

6实验结果。

运行成功,截图1

Hadoop实战5:MapReduce编程-WordCount统计单词个数-eclipse-java-windows环境

截图2

Hadoop实战5:MapReduce编程-WordCount统计单词个数-eclipse-java-windows环境

三 附录

eclipse中项目的路径结构

Hadoop实战5:MapReduce编程-WordCount统计单词个数-eclipse-java-windows环境

本人将项目源码放在github

https://github.com/rongyux/Hadoop_Maven_Java_HellloWorld