一、虚拟机配置：nat方式配置宿主机以及客户机
1：宿主机vmware nat service服务必须启动。
2：这个如果经过网络配置的折磨，应该能找到着两个网卡：vmnet1和vmnet8，这里讲的是vmnet8。
查看vmnet8的ip地址。 （我这里是：192.168.58.1， 机器不同可能都不相同）
打开vmware的菜单：编辑--> 虚拟机网络编辑器,查看VMnet8的nat设置，发现网关ip是： 192.168.58.2， 跟宿主机的在同一网段。
3：配置客户机linux的网络：
#cd /etc/sysconfig/network-scripts
列出很多文件，其中ifcfg-enoxxxxxxxxx文件，是网络配置主文件。
#vi ifcfg-eno16777736
在其中添加如下内容：
IPADDR=192.168.58.100
GATEWAY=192.168.58.2
NETMASK=255.255.255.0
DNS1=192.168.58.2
:wq保存退出，利用cat /etc/resolv.conf来查看dns是否生效。
4：重启网络
#service network restart
5：宿主机与客户机相互ping对方，能ping通即是成功。
6：确保客户机已经开通sshd服务。
6：在宿主机安装远程telnet软件，填入客户机的ip地址，可在宿主机上连接上客户机，进行远程操作。
二、下面是详细的配置部分。
2、vmware workstation的虚拟网络编辑器。
我在此犯了一个错误，如下： 原先想自己在linux中手动配置静态ip地址，不想使用该软件的dhcp服务进行动态ip分配，因此禁止了该dhcp服务。 但在linux中配置好静态ip之后，发现无论如何都得不到ip地址。因此该dhcp服务必须要勾选。
确认一下用于nat模式的虚拟网卡vmnet8的dhcp服务给虚拟机分配的ip的范围。这个很重要，在虚拟机中配置ip时，请在此范围内进行ip选择。
3、在linux虚拟机中设置静态ip，在上面的范围内选择。然后重启服务，利用ip add查看ip，成功。
三、开始在linux环境中安装jdk。
1、源码包准备：
首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我下载jdk-7u45-linux-x64.tar.gz，下载到主目录
2、解压源码包
通过终端在/usr/local目录下新建java文件夹，命令行：
sudo mkdir /usr/local/java
然后将下载到压缩包拷贝到java文件夹中，命令行：
进入jdk源码包所在目录
cp jdk-7u45-linux-x64.tar.gz /usr/local/java
然后进入java目录，命令行：
cd /usr/local/java
解压压缩包，命令行：
sudo tar xvf jdk-7u45-linux-x64.tar.gz
然后可以把压缩包删除，命令行：
sudo rm jdk-7u45-linux-x64.tar.gz
3、设置jdk环境变量
这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量
sudo gedit /etc/profile
打开之后在末尾添加
export JAVA_HOME=/usr/local/java/jdk1.7.0_45export JRE_HOME=/usr/local/java/jdk1.7.0_45/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin: $PATH
请记住，在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识符”，因为source /etc/profile 时不能识别多余到空格，会理解为是路径一部分。
然后保存
source /etc/profile
使profile生效
4、检验是否安装成功
在终端
java -version
看看是否安装成功
成功则显示如下
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
四、克隆虚拟机
搭建hadoop集群需要linux虚拟机。以上已经建立了一个，接下来需要再建立2个虚拟机。 利用vmware的虚拟机克隆功能，连续克隆2个虚拟机。需要注意的是利用hostnamectl来修改主机名，再分别分配ip地址即可。
所有的工作完毕之后，所有的虚拟机能相互ping通，也能ping通宿主机。同时也能ping通公用网址。
接下来在三台linux虚拟机上配置ssh免密码登录（暂时不知道有什么用处）。
关于ssh免登录有如下解释：
在 linux 系统管理中，设置免密码登录，进行机器的批量管理是最常用的一个方法。比如针对几十甚至上百台线上机器，通常我们会设置一台“发布机”作为*控制机对其它线上机器免密码登录，然后进行软件、配置文件的分发、更新、部署。当然了，针对上面的问题，解决方案并非最优且唯一，比如你也可以用 expect 模拟自动输入来完成自动登录验证这一过程，或者用现在一些开源的软件自动化配置和部署工具，比如 Puppet，但这都不在本文的讨论范畴，今天咱们要说的就是这种最原始、最有效、最直接的方式：免密码登录。
假设：现有3台机器
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
要使master无需密码通过ssh登入slave1和slave2。
以下开始配置。
1：编辑hosts文件，把所有主机ip及主机名对应加入。
vi /etc/hosts,用vi编辑hosts文件，如下：
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
2：在三台机器上都建立hadoop专用账户
# adduser hadoop
# passwd hadoop
备注： centos7不允许空密码，我只好在x-window下设置为空密码。
3：在每台机上产生新的rsa公钥私钥文件，并统一拷贝到一个authorized_keys文件中
1) 使用hadoop登录hadoop01，在.ssh目录下输入命令：
ssh-keygen -t rsa
三次回车后，该目录下将会产生id_rsa，id_rsa.pub文件。其他主机也使用该方式产生密钥文件。
2) 使用hadoop登录hadoop01，输入命令：
cat id_rsa.pub >> authorized_keys
将id_rsa.pub公钥内容拷贝到authorized_keys文件中。
3) 登录其他主机，将其他主机的公钥文件内容都拷贝到master主机上的authorized_keys文件中，命令如下：
ssh-copy-id -i master #登录slave1,将公钥拷贝到master的authorized_keys中
ssh-copy-id -i master #登录slave2,将公钥拷贝到master的authorized_keys中
4： 授权authorized_keys文件
1) 登录hadoop01,在.ssh目录下输入命令：
chmod 600 authorized_keys
5：将授权文件分配到其他主机上
1) 登录master,将授权文件拷贝到slave1、slave2,命令如下：
scp /home/hadoop/.ssh/authorized_keys slave1:/home/hadoop/.ssh/ #拷贝到slave1上
scp /home/hadoop/.ssh/authorized_keys slave2:/home/hadoop/.ssh/ #拷贝到slave2上
2) 至此，免密码登录已经设定完成，注意第一次ssh登录时需要输入密码，再次访问时即可免密码登录。
可在master上输入：
ssh slave1 或者ssh slave2来进行验证，配置正确的话，应该无需密码即可登录成功。
请注意，文中凡是涉及hadoop01字样的，指的是master服务器。
补充说明1-----linux虚拟机上配置ssh免密码登录
1）在每台机器上建立.ssh目录时，必须注意hadoop用户和hadoop用户组对其拥有700权限。我在后面的测试中发现，master不能进行无密码ssh登录入slave2，但slave1正常。 调查后发现，hadoop用户对slave2的/home/hadoop/.ssh目录的访问权限不是700，果断改之，改完后能正常免密码登录。
2）hadoop用户对authorized_keys文件的访问权限应该是600，这点也要注意。
补充说明2-----linux虚拟机上配置ssh免密码登录
1） 在正式配置ssh之前，先关闭防火墙
systemctl stop firewalld.service --关闭防火墙
systemctl disable firewalld.service --永久关闭
2） 在ssh配置完毕之后，测试无密码登录之前，先对ssh服务进行配置：
切换回root用户：[hadoop@master ~]$ su
编辑文件：[root@master hadoop]# vim /etc/ssh/sshd_config
确保下面的可用（去掉前面的#）
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
:wq ##保存并退出
重启服务：[root@master hadoop]# service sshd restart
五、配置hadoop
下面进行hadoop配置，使用的是hadoop-2.6.0.tar.gz 的64位安装包。
1：hadoop-2.6.0.tar.gz拷贝到/opt目录下。
使用root用户登录系统，并解压：
[root@master opt]# tar xzvf hadoop-2.6.0.tar.gz
2：改变解压后目录的所属用户及组属性：
改变用户及群组：[root@master opt]# chown -R hadoop:hadoop hadoop-2.6.0
注意：-R 参数表示 该目录下所有子目录和文件的权限一并改变。
3：设置环境变量：[root@master opt]# vim /etc/profile
在文件末尾添加如下
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
:wq ##保存退出
刷新配置：[root@master opt]# . /etc/profile 或者 [root@master opt]# source /etc/profile
验证：[root@master opt]# echo $HADOOP_HOME
/opt/hadoop-2.6.0
4：建立hadoop需要的各种目录
切换用户：[root@master etc]# su hadoop
进入如下文件夹并创建下列文件夹
[hadoop@master etc]$ cd /opt/hadoop-2.5.2
[hadoop@master hadoop-2.5.2]$ mkdir -p dfs/name
[hadoop@master hadoop-2.5.2]$ mkdir -p dfs/data
[hadoop@master hadoop-2.5.2]$ mkdir -p tmp
进入文件夹：[hadoop@master hadoop-2.5.2]$ cd etc/hadoop
配置slaves ：[hadoop@master hadoop]$ vim slaves
slave1
slave2
:wq ##保存并退出
5：修改hadoop-env.sh和yarn-env.sh
[hadoop@master hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_45
[hadoop@master hadoop]$ vim yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_45
6：修改core-site.xml
[hadoop@master hadoop]$ vim core-site.xml
添加内容如下：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.5.2/tmp</value>
</property>
</configuration>
7：修改hdfs-site.xml
[hadoop@master hadoop]$ vim hdfs-site.xml
</configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop-2.5.2/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop-2.5.2/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
8：配置mapred-site.xml
[hadoop@master hadoop]$ cd /opt/hadoop-2.5.2
[hadoop@master hadoop-2.5.2]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[hadoop@master hadoop-2.5.2]$ vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
9：配置yarn-site.xml
[hadoop@master hadoop-2.5.2]$ vim etc/hadoop/yarn-site.xml
1）伪分布配置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2）集群配置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
10：配置另两台机器
1）按照上述方法配置另两台机器
2）关机，复制两台slave （注意，正确的做法应该是这样，我前面首先做了复制，导致后面每台机器都要这么配置，悲催！）
3）修改复制的两台虚拟机的ip，进行网络配置修改，请参看前面的描述，不再复述。
11：格式化master的namenode，启动并测试
以hadoop用户登录
[hadoop@master hadoop-2.6.0]$ hdfs namenode -format
启动：[hadoop@master hadoop-2.6.0]$ ./sbin/start-dfs.sh
启动：[hadoop@master hadoop-2.6.0]$ ./sbin/start-yarn.sh
在各个机器上用jps查看节点
查看master的jps
[hadoop@master hadoop-2.6.0]$ jps
12121 Jps
10715 NameNode
10928 SecondaryNameNode
11087 ResourceManager
查看slave的jps
[hadoop@slave1 logs]$ jps
8030 Jps
7122 DataNode
7254 NodeManager
查看各节点日志
查看master是否监听其他节点
[hadoop@master hadoop-2.6.0]$ netstat -an | grep 9000
浏览器查看
浏览器打开 :50070/，会看到hdfs管理页面
浏览器打开 :8088/，会看到hadoop进程管理页面
浏览器打开 :8088/cluster 查看cluster情况
12：验证（WordCount验证）
1.dfs上创建input目录
[hadoop@master hadoop-2.6.0]$ bin/hadoop fs -mkdir -p input
2.把hadoop目录下的README.txt拷贝到dfs新建的input里
[hadoop@master hadoop-2.6.0]$ bin/hadoop fs -copyFromLocal README.txt input
3.运行WordCount
[hadoop@master hadoop-2.6.0]$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output
4.运行完毕后，查看单词统计结果
[hadoop@master hadoop-2.6.0]$ bin/hadoop fs -cat output/*
假如程序的输出路径为output，如果该文件夹已经存在,先删除
[hadoop@master hadoop-2.6.0]$ bin/hadoop dfs -rmr output
关闭hadoop
[hadoop@master hadoop-2.6.0]$ ./sbin/stop-dfs.sh
[hadoop@master hadoop-2.6.0]$ ./sbin/stop-yarn.sh