什么是 zookeeper?
Zookeeper 是google的chubby一个开源实现,是hadoop的分布式协调服务
它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。
在Hbase中会用到。
Zk(zookeeper简称)可以用来保证数据在zk集群之间的数据的事物性一致。
Zk默认数据2M以下。
zookeeper架构图
如何搭建Zookeeper服务器集群
zk服务器集群规模不小于3节点,要求服务器之间系统时间要保持一致。
将下载的zookeeper复制到/usr/local 里,解压:
tar –zxvf zookeeper-3.4.5.tar.gz
重命名:
mv zookeeper-3.4.5.tar.gz zk
在hadoop的/usr/local目录下,解压缩zk….tar.gz,设置环境变量
设置环境变量:
加入:
export ZOOKEEPER_HOME=/usr/local/zk
在PATH 后面追加:
:$ZOOKEEPER_HOME/bin
使环境变量生效:
source /etc/profile
在conf目录下,修改文件
mv zoo_sample.cfg zoo.cfg
[root@hadoop zk]# cd conf
[root@hadoop conf]# ls
configuration.xsl log4j.properties zoo_sample.cfg
[root@hadoop conf]# mv zoo_sample.cfg zoo.cfg
[root@hadoop conf]# ls
configuration.xsl log4j.properties zoo.cfg
编辑该文件:
vi zoo.cfg
修改dataDir=/usr/local/zk/data
新增
server.0=hadoop:2888:3888
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
这里讲下zookeeper的角色:
领导者(leader):负责投票的发起和决议,更新系统状态
学习者(learner):包括追随者(follower)和观察者(observer),follower用于接受客户端请求并向客户端返回结果,在选主过程中参与投票。
observer 可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度。
客户端(client),请求发起方。
创建文件夹 :
进入zk文件夹下,创建data文件夹。
[root@hadoop zk]# mkdir data
在data目录下,创建文件myid,值为0
[root@hadoop zk]# cd data
[root@hadoop data]# ls
[root@hadoop data]# vi myid
把zk目录复制到hadoop1和hadoop2中
scp -r zk hadoop1:/usr/local
scp -r zk hadoop2:/usr/local
环境变量也要复制过去
[root@hadoop local]# scp /etc/profile hadoop1:/etc/
profile 100% 2037 2.0KB/s 00:00
[root@hadoop local]# scp /etc/profile hadoop2:/etc/
profile 100% 2037 2.0KB/s 00:00
记得在hadoop1和hadoop2节点上:
source /etc/profile
使环境变量生效
把hadoop1中相应的myid的值改为1,把hadoop2中相应的myid的值改为2
[root@hadoop local]# ssh hadoop1
Last login: Mon May 11 08:22:01 2015 fromhadoop
[root@hadoop1 ~]# vi /usr/local/zk/data
[root@hadoop1 ~]# vi /usr/local/zk/data/myid
[root@hadoop1~]# exit
logout
Connection to hadoop1 closed.
[root@hadoop local]# ssh hadoop2
Last login: Mon May 11 08:21:48 2015 fromhadoop
[root@hadoop2 ~]# vi /usr/local/zk/data/myid
[root@hadoop2 ~]# exit
logout
Connection to hadoop2 closed.
启动,在三个节点上分别执行命令zkServer.sh start
[root@hadoop zk]# cd bin
[root@hadoop bin]# ls
README.txt zkCli.cmd zkEnv.cmd zkServer.cmd
zkCleanup.sh zkCli.sh zkEnv.sh zkServer.sh
[root@hadoop bin]# zkServer.sh start
JMX enabled by default
Using config:/usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
其他两个节点类似上面操作
[root@hadoop bin]# ssh hadoop1
Last login: Mon May 11 08:24:36 2015 fromhadoop
[root@hadoop1~]# cd /usr/local
[root@hadoop1 local]# cd zk
[root@hadoop1 zk]# cd bin
[root@hadoop1 bin]# ls
README.txt zkCli.cmd zkEnv.cmd zkServer.cmd
zkCleanup.sh zkCli.sh zkEnv.sh zkServer.sh
[root@hadoop1 bin]# zkServer.sh start
JMX enabled by default
Using config:/usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@hadoop1 bin]# ssh hadoop2
Last login: Mon May 11 08:25:52 2015 fromhadoop
[root@hadoop2 ~]# cd /usr/local/zk/bin
[root@hadoop2 bin]# zkServer.sh start
JMX enabled by default
Using config:/usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
检验,在三个节点上分别执行命令zkServer.sh status
查看选举结果:
[root@hadoop2 bin]# zkServer.sh status
JMX enabled by default
Using config:/usr/local/zk/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop1 bin]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop bin]# zkServer.sh status
JMX enabled by default
Using config:/usr/local/zk/bin/../conf/zoo.cfg
Mode: follower
Zookeeper的使用(命令行操作)
Zookeeper有目录结构,称作节点,节点可以赋值,可以添加,可以删除
终端:zkCli.sh 可以进入命令行
[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 3] ls/zookeeper
[quota]
[zk: localhost:2181(CONNECTED) 4] ls/zookeeper/quota
[]
创建了一个节点,给它赋值hadoop,通过get 命令获得它的值。
[zk: localhost:2181(CONNECTED) 5] create/cloud hadoop
Created /cloud
[zk: localhost:2181(CONNECTED) 6] ls /
[cloud, zookeeper]
[zk: localhost:2181(CONNECTED) 7] get /cloud
hadoop
cZxid = 0x100000002
ctime = Mon May 11 10:07:07 CST 2015
mZxid = 0x100000002
mtime = Mon May 11 10:07:07 CST 2015
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0
可以set 设置值 你会发现在其他的两个zookeeper服务器上,会获得这个值,也就是所谓的事物一致性。
Zookeeper的节点
Znode有两种类型,短暂的和持久的。
Znode的类型在创建时确定给并且之后不能 在修改。
短暂znode的客户端会话结束时,zookeeper会将该短暂的znode删除,短暂znode不可以有子节点。
持久znode不依赖与客户端会话,只有当客户端明确要删除该持久znode时才会被删除。