hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)

时间:2023-03-08 16:23:00
hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)

-------------------------------------------------------------------*

目录                              *

I    hadoop分布式安装                      *

II  zookeeper分布式安装                    *

III hbase分布式安装                       *

IV  pig分布式安装                       *

V    hive客户端安装                       *

--------------------------------------------------------------------*

1. hadoop分布式安装

  ----------------------------

  Master  192.168.137.100

  Slaver1   192.168.137.101

  Slaver2   192.168.137.102

  ----------------------------

  1.1  设置IP地址  【server network restart】 && 【ifconfig】

  1.2  关闭防火墙  【server iptables stop】 && 【server iptables status】 

  1.3  永久关闭防火墙  【chkconfig iptables off】 && 【chkconfig --list | grep iptables】

  1.4  设置主机名  【hostname Master】->【vi /etc/sysconfig/network】

  1.5  ip与hostname绑定  【vi /etc/hosts】 && 【ping Master】

  1.6  设置ssh免密码登录  

    (1)ssh-keygen -t rsa(Master、Slaver1、Slaver)

        cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(Master、Slaver1、Slaver)

    (2)ssh-copy-id -i id_rsa.pub root@Slaver1(Master)

           ssh-copy-id -i id_rsa.pub root@Slaver1(Slaver2)

    (3)scp authorized_keys Master:/root/.ssh/authorized_keys

        scp authorized_keys Slaver2:/root/.ssh/authorized_keys

  1.7  安装jdk

    执行命令  (1)cd /usr/local

          (2)chmod u+x jdk-6u24-linux-i586.bin

          (3)./jdk-6u24-linux-i586.bin

          (4)mv jdk-1.6.0_24  jdk

          (5)vi /etc/profile 增加内容如下:

               export JAVA_HOME=/usr/local/jdk
             export PATH=.:$JAVA_HOME/bin:$PATH

          (6)source /etc/profile

    验证  java -version

  1.8  安装hadoop(下载hadoop-1.2.1.tar.gz到usr/local)

    执行命令  (1)tar -xzvf hadoop-1.2.1.tar.gz

          (2)mv hadoop-1.2.1 hadoop

          (3)vi /etc/profile 增加内容如下:

            export JAVA_HOME=/usr/local/jdk
            export HADOOP_HOME=/usr/local/hadoop
            export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

          (4)source /etc/profile

          (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slavers

          (6)scp jdk/hadoop Slaver1/Slaver2:/usr/local

  1.9  验证hadoop

          (1)hadoop namenode -format

          (2)start-all.sh

    验证  (1)在Master执行命令jps, 如看到3个新的java进程,分别是 NameNode、SecondaryNameNode、JobTracker  

        (2)在Slaver1/Slaver2执行命令jps, 如看到2个新的java进程,分别是 DataNode、askTracker

        (3)在浏览器中查看, http://Master:50070 http://Master:50030

2. zookeeper分布式安装