1.安装vmware 2.新建虚拟机 3.安装Linux4.初步配置 5.克隆 6.完善配置
下载iso镜像文件 CentOS-6.5-x86_64-minimal 。下载VMware，安装过程中客户机操作系统选择linux，网络连接选“使用网络地址转换”，默认下一步。使用iso镜像文件中选择下载的镜像文件。Hostname是创建的主机名，地址选shanghai。下一步创建用户名和密码，下一步选择create Custom Layout，下一步开始配置虚拟机内存。配置过程略。
下一步设置IP，编辑虚拟网络编辑器。输入vi /etc/sysconfig/network-scripts/ifcfg-eth0 进入后进行以下步骤1. 删除UUID和MAC地址 2.修改ONBOOT=yes 3.修改BOOTPROTO=static 4. IPADDR=192.168.9.253 NETMASK=255.255.255.0 GATEWAY=192.168.9.2 DNS1=1921.68.9.2 。其中在vmware界面中点击编辑—虚拟网络编辑器—选择vmnet8。即可查看自己的网关IP和子网ip
保存并退出。其中I为进入编辑。Esc退出编辑。退出后输入 ：wq 即为保存退出。
输入service network restart 出来全是ok就可以了。然后输入 ping www.baidu.com 。能ping成功即算完成。输入ctrl+c退出 。
下一步删除 -rm –fr /etc/udev/rules.d/70-persistent-net.rules 。如果虚拟机保留 /etc/udev/rules.d/70-persistent-net.rules 这个文件，在通过该虚拟机克隆的时候会:
–1，文件被带到新的虚拟机中
–2，vm变更了新的虚拟机的mac地址
–so：新机器不能使用eth0接口
–你配置的/etc/sysconfig/network-scripts/ifcfg-eth0就不能应用
下一步关闭防火墙 输入service iptables stop 和 chkconfig iptables off 。接着输入vi /etc/selinux/config 进入后修改SELINUX=disabled 。保存退出，这样设置更安全，如时间错了就把相应文件变成只读文件。接着关机，输入powerwoff关机。
下一步进行克隆，打开vmware界面，点击“管理此虚拟机的快照”按钮。选择当前位置点击克隆，克隆出相同的虚拟机，克隆四个。在这我取名为node01，node02，node03，node04 。克隆好后进入系统，给node01进行配置 输入vi /etc/sysconfig/network-scripts/ifcfg-eth0。进入后将IPADDR的地址最后一个数改为31，相同的将其他三个改为32,33,34。保存退出。输入service network restart 出来全是OK才行。接着 ping www.baidu.com，看是否成功。四个虚拟机进行相同操作。
下一步，准备四台虚拟机，配置IP。先配置主机名，输入vi /etc/sysconfig/network，进入后修改HOSTNAME=node01，进入计算机的c:/windows/system32/drivers/etc/hosts地址，使用相关软件打开hosts文件，添加四个虚拟机的地址+名字，如192.168.88.31 node01。保存退出。 配置hosts输入vi /etc/hosts ，进入后添加四个虚拟机的地址+名字。保存退出，随后输入poweroff关机，拍摄快照，保留一个纯净的版本。相同情况给另外三个进行相同设置，然后相互ping，看能否成功。接着在windows的cmd窗口ping node01 看能否成功。至此虚拟机已经基本配置成功，可以进行初步操作。因为vmware存在操作不便的情况，我们这里选择下载xshell桥接虚拟机，在xshell中进行操作。下载xshell后，保证node01开启的情况下，打开xshell，点击左上角新建 ，输入名称和主机号，点击确定，创建后点击连接，输入虚拟机的用户名和密码，在小窗口名字的左边一个小点红色变成绿色即连接成功。在界面可以操作linux命令。
下载jdk-7u67-linux-x64和xftp，在xftp中连接node01虚拟机，传送jdk。在xshell中输入rpm –I jdk-7u67-linux-x64.rpm。在linux中安装jdk。输入whereis java。会跳出java所在目录。记得复制。继续输入vi + /etc/profile 。进入后在最后加入图中两行。保存退出后输入source /etc/profilr 。刷新后再输入jps。如果输出格式不是 数字+jps。则重新进入上一步把第二行中的一部分改为图式部分，保存退出进行相同步骤，完成后会输出数字+jps。到这步就是环境配置好了。
环境配置好后进行免密操作。
输入ll –a 发现没有.ssh文件。输入ssh localhost，输入yse，输入密码。这一步进入后输入ll –a 发现会有.ssh文件。这一步是可以看到隐藏文件。记得exit退出。
输入 ssh-****** -t dsa -P ‘’ -f ~/.ssh/id_dsa 显示图示即可
输入ll .ssh 检查文件，有三个
再次输入 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 。最后输入ssh localhost。即完成能免密进入，记得exit退出。
输入 vi + /etc/profile 进入后将原来的修改为以下情况
修改后保存。source /etc/profile刷新。输入hd再按tab如果能自动补完全就完成了。
下一步，进入vi hadoop-env.sh 和 vi mapred-env.sh 和 vi yarn-env.sh 。修改下图 ，将export JAVA_HOME改成图示，保存退出。输入vi core-site.xml进入后在两个中复制以下代码
其中szl为自己的文件的名字。
输入vi hdfs-site.xml ，进入后相同位置复制以下代码
其中node01为当前虚拟机的名字。
配置slaves文件。输入vi slaves ，将里面的内容删除，增加node01 ,就是自己虚拟机名字
格式化 输入hdfs namenode –format 存在图示一行即可
启动集群 输入start-dfs.sh 再输入jps 如果出现NameNode Jps SecondaryNameNode DataNode四个就算完成。
1.在hdfs里建立输入目录和输出目录
hdfs dfs -mkdir -p /data/input
hdfs dfs -mkdir -p /data/output
2.将要统计数据的文件上传到输入目录并查看
hdfs dfs -put 500miles.txt /data/input
hdfs dfs -ls /data/input
3.进入MapReduce目录
cd /opt/ldy/hadoop-2.6.5/share/hadoop/mapreduce/
- 运行wordcount
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/input /data/output/result
5.查看运行结果
hdfs dfs -ls /data/output/result
hdfs dfs -cat /data/output/result/part-r-00000
6.完成后关闭集群，输入stop-dfs.sh
在node03中依次输入scp jdk-7u67-linux-x64.rpm node02:pwd
-scp jdk-7u67-linux-x64.rpm node03:pwd
-scp jdk-7u67-linux-x64.rpm node04:pwd 把jdk传送到node020304中，然后分别在node0234中安装jdk。执行命令-rpm -i jdk-7u67-linux-x64.rpm
在node03上cd /etc，在此目录下把profile文件分发到node0234上。 输入scp profile node02:pwd
接着在全部对话栏输入source /etc/profile 然后jps 如果出现的是数字+jps就时成功了。
yum -y install ntp
输入ntpdate time1.aliyun.com
cat /etc/sysconfig/network
输入cat /etc/hosts
输入cat /etc/sysconfig/selinux、
输入service iptables status
Node020304没有.ssh文件，需要输入ssh localhost 输yes，密码。记得exit退出。输入scp id_dsa.pub node02:pwd/node01.pub 把id_dsa.pub改为node01.pub
输入cat node01.pub>>authorized_keys 并在node01中看是否免密。、
进入cd /opt/szl/Hadoop-2.6.5/etc. 输入vi hadf-site.xml 进入后在两个configuration中删除然后加入
保存退出后再进入core-site.xml 。修改成
。保存退出
进入vi slaves 将里面的改为node02 node03 node04 保存退出
下载zookeerper文件 传入到node020304的software中并解压。
tar xf zookeeper-3.4.6.tar.gz -C /opt/szl 解压文件
cd /opt/szl/zookeeper-3.4.6/conf 进入增加一个zoo.cfg输入cp zoo_sample.cfg zoo.cfg
进入vi zoo.cfg改dataDir=/var/szl/zk。并在末尾追加server.1=node04:2888:3888
server.2=node05:2888:3888 server.3=node06:2888:3888三条
把zookeeper分发到其他节点scp -r zookeeper-3.4.6/ node02:pwd （node020304三个）
4.给每台机子创建刚配置文件里的路径
mkdir -p /var/ldy/zk
对node02来说：
echo 1 > /var/szl/zk/myid
cat /var/szl/zk/myid
对node03
echo 2 > /var/szl/zk/myid
cat /var/szl/zk/myid
对node04来说：
echo 3 > /var/szl/zk/myid
cat /var/szl/zk/myid
5.在/etc/profile里面配置
export ZOOKEEPER_HOME=/opt/ldy/zookeeper-3.4.6
export PATH=HADOOP_HOME/bin:ZOOKEEPER_HOME/bin
6.然后在把/etc/profile分发到其他node05、node06
scp /etc/profile node05:/etc
scp /etc/profile node06:/etc
source /etc/profie，这步千万别忘
验证source这句是否完成，输入zkCli.s，按Tab可以把名字补全zkCli.sh
7.启动zookeeper
全部会话：zkServer.sh start
接着用zkServer.sh status查看每个zookeeper节点的状态
注意：如果启动不起来，请把/etc/profile里的JAVA_HOME改成绝对路径。
在01、02、03三台机子上分别把journalnode启动起来
输入hadoop-daemon.sh start journalnode
用jps检查下进程启起来了没、
随意挑一台namenode上执行hdfs namenode –format。另一台namenode不用执行，否则clusterID变了，找不到集群了。然后，启动刚刚格式化的那个namenode
输入hadoop-daemon.sh start namenode 随后jps多出个namenode
在node02上输入hdfs zkfc –formatZK 在输入zkCli.sh 输入ls / 。会出现hadoop-ha
在node03上启动hdfs集群：start-dfs.sh
把mapred-site.xml.template留个备份，并且改下名字
cp mapred-site.xml.template mapred-site.xml
在mapred-site.xml里添加如下property
在yarn-site.xml里添加如下property
把mapred-site.xml和yarn-site.xml 分发到node04、05、06
scp mapred-site.xml yarn-site.xml node04:pwd
scp mapred-site.xml yarn-site.xml node05:pwd
scp mapred-site.xml yarn-site.xml node06:pwd
node0304互相免密
1.启动zookeeper，全部会话zkServer.sh start
2.在node03上启动hdfs，start-dfs.sh
3.在node03上启动yarn，start-yarn.sh
4.在node05、06上分别启动resourcemanager，
yarn-daemon.sh start resourcemanager
5.全部会话jps，看进程全不全
1.cd /opt/ldy/hadoop-2.6.5/share/hadoop/mapreduce
2.在hdfs里建立输入目录和输出目录
hdfs dfs -mkdir -p /data/in
hdfs dfs -mkdir -p /data/out
3.将要统计数据的文件上传到输入目录并查看
hdfs dfs -put ~/500miles.txt /data/input
hdfs dfs -ls /data/input
4. 运行wordcount(注意：此时的/data/out必须是空目录
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/in /data/out/result
5.查看运行结果
hdfs dfs -ls /data/out/result
hdfs dfs -cat /data/out/result/part-r-00000
把我给你的压缩包解压后的这三个文件夹放到一个usr文件
夹里，把usr放到一个你知道的地方。
、
配置环境变量
至此Hadoop高可用平台搭建完成