使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
一、实验环境：
- Hadoop3.1.3
- IDEA
- CentOS7.5
- Maven3.6.3
- 伪分布式
二、使用Maven构建Hadoop工程
1.解压Maven到自己的安装目录
tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/
2.配置Maven环境变量
vim /etc/profile.d/my_env.sh
# JDK_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# Set Maven Environment
export MAVEN_HOME=/opt/module/maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
3.查看maven版本信息
4.使用IDEA创建一个空项目(提前在IDEA中配置Maven)
如图：（借用尚硅谷的图）
5.Maven安装目录和仓库地址的设置
# 先进入到maven的安装目录
# 修改 settings.xml（核心配置文件）
vim ./conf/settings.xml
# 本地仓库地址更改到/home/zhangsan/LocalRepository，默认在xxx\.m2\repository
<localRepository>/home/zhangsan/LocalRepository</localRepository>
# 配置阿里云镜像（下载速度快）
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
- Maven home directory：可以指定本地 Maven 的安装目录所在。这里不建议使用IDEA默认的。
- User settings file / Local repository：我们还可以指定 Maven 的 settings.xml 位置和本地仓库位置。
三、词频统计案例
配置文件：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.zhangsan</groupId>
<artifactId>MapReduce</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.2</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.12.0</version>
</dependency>
</dependencies>
</project>
WordCount案例代码：
Mapper类
Reducer类
Driver类
执行Jar包之前要先在HDFS上创建一个文本文件作为词频统计的输入文件
并创建一个文本文件：word.txt(内容如下)
hello java
hello hadoop
hello mapreduce
在Hadoop安装目录下执行Jar包(MR的Jar放置在hadoop安装目录下)
hadoop jar ./MapReduce-1.0-SNAPSHOT.jar WordCountDirver /wcinput /wcoutput
执行Jar包的成功运行结果：
Web端可以查看到成功运行：
命令行查看/wcoutput的词频统计结果
四、报错解决
1.Hadoop：找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster
解决方案：
<!--先输出的结果复制到yarn-site.xml-->
<property>
<name>yarn.application.classpath</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*
</value>
</property>
2.INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
原因是：本人机器采用伪分布式，且选择启动Yarn为MapReduce作业进行资源管理和任务调度，然后机器有没有启动Yarn，从而出错。
解决方案：
Yarn对于分布式模式（真正由多台机器构成的集群环境）才有意义，在伪分布式环境下，Yarn其实是无法真正发挥作用的，因此，在伪分布式环境下不需要借助于Yarn为MapReduce作业进行资源管理和任务调度，而是可以直接借助于Hadoop自身内置的 mapred.LocalJobRunner来为mapReduce作业进行资源管理和任务调度。也就是说，不启动Yarn照样可以运行MapReduce程序。
选择启动Yarn为MapReduce作业进行资源管理和任务调度的设置方式可以参考这一篇文章
解决方案：
Yarn对于分布式模式（真正由多台机器构成的集群环境）才有意义，在伪分布式环境下，Yarn其实是无法真正发挥作用的，因此，在伪分布式环境下不需要借助于Yarn为MapReduce作业进行资源管理和任务调度，而是可以直接借助于Hadoop自身内置的 mapred.LocalJobRunner来为mapReduce作业进行资源管理和任务调度。也就是说，不启动Yarn照样可以运行MapReduce程序。
