虚拟机安装
0）安装模板虚拟机
IP地址192.168.140.10、主机名称bigdata10、内存1G、硬盘50G
1.1配置电脑
1.2 安装系统（CentOS7）
1.3 网络配置
对安装好的VMware进行网络配置，方便虚拟机连接网络，本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。
1.4 虚拟机网络IP修改地址配置
1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。
vi /etc/sysconfig/network-scripts/ifcfg-eno*2）以下项必须修改，有值的按照下面的值修改，没有该项的则需要增加。
BOOTPROTO="static" #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
ONBOOT="yes" #系统启动的时候网络接口是否有效（yes/no）
IPADDR=192.168.140.10 #IP地址
GATEWAY=192.168.140.2 #网关
NETMASK=255.255.255.0 #子网掩码
DNS1=8.8.8.8 #域名解析器
DNS1=114.114.114.1143）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出
4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机
systemctl restart network5）使用ifconfig命令查看当前IP
ifconfig
或者 ip a （最小安装未安装ifconfig）6）保证Linux系统ifcfg-eno*文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同
1.5 修改主机名和hosts文件
1）修改主机名称
vi /etc/hostname
bigdata102）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts
vi /etc/hosts
添加如下内容192.168.140.10 bigdata10
192.168.140.11 bigdata11
192.168.140.12 bigdata123）重启克隆机bigdata11【可以等一会配置完hadoop,java再克隆】
reboot4）修改windows的主机映射文件（hosts文件）【方便使用xshell】
（1）如果操作系统是window7，可以直接修改
（a）进入C:\Windows\System32\drivers\etc路径
（b）打开hosts文件并添加如下内容，然后保存
192.168.140.10 bigdata10
192.168.140.11 bigdata11
192.168.140.12 bigdata12（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可
（a）进入C:\Windows\System32\drivers\etc路径
（b）拷贝hosts文件到桌面
（c）打开桌面hosts文件并添加如下内容
192.168.140.10 bigdata10
192.168.140.11 bigdata11
192.168.140.12 bigdata12（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件
1）bigdata10虚拟机配置
（本文Linux系统全部以CentOS-7-x86_64为例）
（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况
ping PING (14.215.177.39) 56(84) bytes of data. 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
（2）安装epel-release
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）
yum install -y epel-release（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
Ø net-tool：工具包集合，包含ifconfig等命令
yum install -y net-tools Ø vim：编辑器
yum install -y vim2）关闭防火墙，关闭防火墙开机自启
systemctl stop firewalld
systemctl disable 注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
3）创建lxq用户，并修改lxq用户的密码
useradd lxq
passwd lxq4）配置lxq用户具有root权限，方便后期加sudo执行root权限的命令
vim /etc/sudoers修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
\## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
lxq ALL=(ALL) NOPASSWD:ALL注意：lxq这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了lxq具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以lxq要放到%wheel这行下面。
5）在/opt目录下创建文件夹，并修改所属主和所属组
（1）在/opt目录下创建module、software文件夹
mkdir /opt/module
mkdir /opt/software（2）修改module、software文件夹的所有者和所属组均为lxq用户
chown lxq:lxq /opt/module
chown lxq:lxq /opt/software（3）查看module、software文件夹的所有者和所属组
cd /opt/
ll总用量 12 drwxr-xr-x. 2 lxq lxq 4096 5月 28 17:18 module drwxr-xr-x. 2 root root 4096 9月 7 2017 rh drwxr-xr-x. 2 lxq lxq 4096 5月 28 17:18 software
6）卸载虚拟机自带的JDK
注意：如果你的虚拟机是最小化安装不需要执行这一步。
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps Ø rpm -qa：查询所安装的所有rpm软件包
Ø grep -i：忽略大小写
Ø xargs -n1：表示每次只传递一个参数
Ø rpm -e –nodeps：强制卸载软件
7）重启虚拟机
reboot
hadoop安装
2) 在bigdata10安装JDK，hadoop
1）卸载现有JDK
注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。详细步骤见问文档3.1节中卸载JDK步骤。
Hadoop下载地址：[Index of /dist/hadoop/common/hadoop-3.1.3]
2）用XShell传输工具将JDK导入到opt目录下面的software文件夹下面
3）在Linux系统下的opt目录中查看软件包是否导入成功
ls /opt/software/4）解压JDK,Hadoop到/opt/module目录下
tar -zxvf -C /opt/module/
tar -zxvf hadoop-3.1. -C /opt/module/5）配置JDK,Hadoop环境变量
（1）新建/etc//my_env.sh文件
sudo vim /etc//my_env.sh添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_351
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME：
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin（2）保存后退出
:wq
（3）source一下/etc/profile文件，让新的环境变量PATH生效
source /etc/profile6）测试JDK是否安装成功
java -version
java version "1.8.0_212"
hadoop version
Hadoop 3.1.3注意：重启（如果java -version,Hadoop命令都能用就不用重启虚拟机）
sudo reboot3) 克隆虚拟机
1）利用模板机bigdata10，克隆两台台虚拟机：bigdata11 bigdata12
注意：克隆时，要先关闭bigdata10（一般集群克隆两台就好，高可用最好克隆四台）
2）修改克隆机IP
3）修改克隆机主机名
4）重启克隆机bigdata11
reboot5）修改windows的主机映射文件（hosts文件）
4) 编写集群分发脚本xsync
如果下面报错，先安装命令：
yum install -y xsync（a）在/home/lxq/bin目录下创建xsync文件
cd /home/lxq
mkdir bin
cd bin
vim xsync在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in bigdata10 bigdata11 bigdata12
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done（b）修改脚本 xsync 具有执行权限
chmod +x xsync（c）测试脚本
xsync /home/lxq/bin（d）将脚本复制到/bin中，以便全局调用
sudo cp xsync /bin/（e）同步环境变量配置（root所有者）
sudo ./bin/xsync /etc//my_env.sh注意：如果用了sudo，那么xsync一定要给它的路径补全。
让环境变量生效
source /etc/profile5) SSH无密登录配置
（1）生成公钥和私钥
[lxq@bigdata10 .ssh]$ pwd
/home/lxq/.ssh
ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（2）将公钥拷贝到要免密登录的目标机器上
ssh-copy-id bigdata10
ssh-copy-id bigdata11
ssh-copy-id bigdata126）配置集群
（1）核心配置文件
配置
cd $HADOOP_HOME/etc/hadoop
vim 文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href=""?>
<configuration>
<!-- 指定NameNode的地址 -->
<property>
<name></name>
<value>hdfs://bigdata10:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
<name></name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为lxq -->
<property>
<name></name>
<value>lxq</value>
</property>
</configuration>
（2）HDFS配置文件vim
配置
vim 文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href=""?>
<configuration>
<!-- nn web端访问地址-->
<property>
<name>-address</name>
<value>bigdata10:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
<name>-address</name>
<value>bigdata11:9868</value>
</property>
</configuration>
（3）YARN配置文件
配置
vim 文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href=""?>
<configuration>
<!-- 指定MR走shuffle -->
<property>
<name>-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 开启日志聚集功能 -->
<property>
<name>-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name></name>
<value>http://bigdata10:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>-seconds</name>
<value>604800</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
<name></name>
<value>bigdata11</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
（4）MapReduce配置文件
配置
vim 文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href=""?>
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
<name></name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name></name>
<value>bigdata10:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name></name>
<value>bigdata10:19888</value>
</property>
</configuration>(5）在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-3.1.3/etc/hadoop/(6）去11,12上查看文件分发情况
cat /opt/module/hadoop-3.1.3/etc/hadoop/7) 群起集群
1）配置workers
vim /opt/module/hadoop-3.1.3/etc/hadoop/workers在该文件中增加如下内容：
bigdata10
bigdata11
bigdata12注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件
xsync /opt/module/hadoop-3.1.3/etc2）启动集群
（1）如果集群是第一次启动，需要在bigdata10节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）
hdfs namenode -format（2）启动HDFS
[lxq@bigdata10 hadoop-3.1.3]$ sbin/（3）在配置了ResourceManager的节点（bigdata11）启动YARN
[lxq@bigdata11 hadoop-3.1.3]$ sbin/（4）Web端查看HDFS的NameNode
（a）浏览器中输入：http://bigdata10:9870 （b）查看HDFS上存储的数据信息
（5）Web端查看YARN的ResourceManager
（a）浏览器中输入：http://bigdata11:8088 （b）查看YARN上运行的Job信息
8) 编写Hadoop集群常用脚本
1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：
cd /home/lxq/bin
vim Ø 输入如下内容
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh bigdata10 "/opt/module/hadoop-3.1.3/sbin/"
echo " --------------- 启动 yarn ---------------"
ssh bigdata11 "/opt/module/hadoop-3.1.3/sbin/"
echo " --------------- 启动 historyserver ---------------"
ssh bigdata10 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh bigdata10 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh bigdata11 "/opt/module/hadoop-3.1.3/sbin/"
echo " --------------- 关闭 hdfs ---------------"
ssh bigdata10 "/opt/module/hadoop-3.1.3/sbin/"
;;
*)
echo "Input Args Error..."
;;
esacØ 保存后退出，然后赋予脚本执行权限
chmod +x 2）查看五台服务器Java进程脚本：jpsall
cd /home/lxq/bin
vim jpsallØ 输入如下内容
#!/bin/bash
for host in bigdata10 bigdata11 bigdata12
do
echo =============== $host ===============
ssh $host jps
doneØ 保存后退出，然后赋予脚本执行权限
chmod +x jpsall3）分发/home/lxq/bin目录，保证自定义脚本在三台机器上都可以使用
xsync /home/lxq/bin/常见错误及解决方案
1）防火墙没关闭、或者没有启动YARN
INFO : Connecting to ResourceManager at bigdata10/192.168.140.10:80322）主机名称配置错误
3）IP地址配置错误
4）ssh没有配置好
5）root用户和lxq两个用户启动集群不统一
6）配置文件修改不细心
7）不识别主机名称
: bigdata11: bigdata11 at (:1475) at (:146) at $(:1290) at $(:1287) at (Native Method) at (:415)解决办法： （1）在/etc/hosts文件中添加192.168.140.11 bigdata11 （2）主机名称不要起hadoop hadoop000等特殊名称8）DataNode和NameNode进程同时只能工作一个。
原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新初始化集群。9）执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效
解决办法：尽量不要粘贴Word中代码。10）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。
原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。11）jps不生效
原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。12）8088端口连接不上
cat /etc/hosts注释掉如下代码
#127.0.0.1 localhost localhost4 localhost4.localdomain4 #::1 bigdata10