[hadoop] 基于Hadoop集群的HBase集群的配置

1> 准备工作
a> 已经配置完成的Hadoop集群
b> 所需要的软件包
zookeeper-3.4.4.tar.gz
hbase-0.94.5.tar.gz
2> 单独安装的ZooKeeper集群，不基于HBase集群管理
a> 在master01上解压zookeeper-3.4.4.tar.gz
#tar -zxvf zookeeper-3.4.4.tar.gz
b> 修改Zookeeper的配置文件
#vim /root/zookeeper-3.4.4/conf/zoo.cfg

       tickTime=2000
       initLimit=5
       syncLimit=2
       dataDir=/data/zookeeper
       clientPort=2181
       server.1=master01:2888:3888
       server.2=master02:2888:3888
       server.3=slave01:2888:3888
       server.4=slave02:2888:3888
       server.5=slave03:2888:3888

c> 将zookeeper-3.4.4复制到其他机器
#scp -r zookeeper-3.4.4 root@master02:/root/
#scp -r zookeeper-3.4.4 root@slave01:/root/
#scp -r zookeeper-3.4.4 root@slave02:/root/
#scp -r zookeeper-3.4.4 root@slave03:/root/
d> 在每台机器配置的dataDir目录下面，创建myid文件标志当前主机
例在master01上
#echo "1" > /data/zookeeper/myid
例在slave03上
#echo "5" > /data/zookeeper/myid
e> 启动zookeeper集群
在每台机器上执行
#./zookeeper-3.4.4/bin/zkServer.sh start
可通过ZooKeeper的脚本查看启动状态，包括集群中各个节点的角色(Leader或Follower),Leader只有一个，选举产生
#./zookeeper-3.4.4/bin/zkServer.sh status
3> 安装配置Hbase集群
a> 启动HDFS集群实例,并创建目录hdfs://master01:8020/hbase,在master01上执行
#./hadoop-0.20.2/bin/hadoop fs -mkdir /hbase
验证是否创建成功
#./hadoop-0.20.2/bin/hadoop fs -lsr /hbase
b> 解压hbase-0.94.5.tar.gz，修改配置文件
#tar -zxvf hbase-0.94.5.tar.gz
#vim hbase-0.94.5/conf/hbase-env.sh

       export JAVA_HOME=/usr/java/jdk1.6.0_26
       export HBASE_CLASSPATH=$HBASE_HOME/
       export HBASE_HEAPSIZE=128
       export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
       export HBASE_MANAGES_ZK=false

#vim hbase-0.94.5/conf/hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>  
       <name>hbase.rootdir</name>  
       <value>hdfs://master01:8020/hbase</value>  
    </property>  
    <property>  
       <name>hbase.cluster.distributed</name>  
       <value>true</value>  
    </property>  
    <property>  
       <name>hbase.zookeeper.property.dataDir</name>  
       <value>ls /data/zookeeper/</value>  
    </property>  
    <property>  
       <name>hbase.zookeeper.quorum</name>  
       <value>master01,master02,slave01,slave02,slave03</value>  
    </property>  
</configuration>

#vim hbase-0.94.5/conf/regionservers

     slave01
     slave02
     slave03

c> 使HBase的lib中的hadoop版本和HDFS集群使用的版本一致
#rm hbase-0.94.5/lib/hadoop-*.tar
#cp hadoop-0.20.2/hadoop-0.20.2-*.tar hbase-0.94.5/lib/

d> 重命名hbase-0.94.5下的hbase-webapps 目录为webapps
#mv hbase-0.94.5/hbase-webapps/ hbase-0.94.5/webapps/

e> 将配置好的hbase-0.94.5复制到其他机器
#scp -r hbase-0.94.5 root@master01:/root/
#scp -r hbase-0.94.5 root@master02:/root/
#scp -r hbase-0.94.5 root@slave01:/root/
#scp -r hbase-0.94.5 root@slave02:/root/
#scp -r hbase-0.94.5 root@slave03:/root/
4> 启动HBase集群
a> 确保HDFS和Zookeeper已经启动
b> 在master01上执行
#./hbase-0.94.5/bin/start-hbase.sh
5> 查看master和slave上启动的进程
a> 在master01上执行
#jps
1957 QuorumPeerMain
2298 Jps
2140 HMaster
1654 NameNode
b> 在slave01上执行
#jps
3656 Jps
3466 HRegionServer
3074 QuorumPeerMain
1758 TaskTracker
1827 DataNode
6> 验证Hbase集群是否安装成功
#./hbase-0.94.5/bin/hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.5, r1443843, Fri Feb 8 05:51:25 UTC 2013
hbase(main):001:0>

秒客网

[hadoop] 基于Hadoop集群的HBase集群的配置

相关文章