zookeeper介绍以及安装配置

时间：2022-01-29 15:48:23

Zookeeper启动时默认将Zookeeper.out输出到当前目录，不友好。改变位置有两种方法：
1：在当前用户下~/.bash_profile或在/etc/profile，添加ZOO_LOG_DIR变量。
    export ZOO_LOG_DIR=/home/Hadoop/local/logs/zookeeper
2：修改zkServer.sh 脚本 
1)修改zoo.cfg文件，增加dataLogDir参数
如：
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
2).修改zkServer.sh脚本，增加ZOO_LOG_DIR变量赋值

---------------------------------------------------------------------------------

ZooKeeper是什么？

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。它是 Hadoop 集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理 Hadoop 集群中的 NameNode，还有 Hbase 中 Master Election、Server 之间状态同步等。

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理

高可用的高性能的分布式系统协调服务。局部不可用是分布式系统的固有特征，ZooKeeper可以很好的地处理这种情况。

下面从三个方面来理解ZooKeeper服务：数据模型、操作、实现

数据模型

可以把zookper看成一个文件系统，文件系统中的所有文件形成一个数状结构，zookeeper维护着这样的树形层次结构，树中的节点称为znode。每个znode有一个与之相关联的ACL（Access Control List）。这种数据模型示意图如下：

zookeeper介绍以及安装配置

znode通过路径被引用，而且要采用绝对路径，即必须以/开头。znode存储的数据要<1m。

znode类型

　　短暂znode：回话结束，zookeeper就会把短暂znode删除，短暂znode不可以有子节点。

　　持久znode：回话结束也不会被删除，除非客户端明确要删除此znode，持久znode可以有子节点。

对于在特定时刻需要知道有哪些分布式资源可用的应用来说，使用短暂znode比较合适。

znode的观察机制

znode以某种方式发生变化时，“观察”（watch）机制可以让客户端得到通知。可以针对ZooKeeper服务的“操作”来设置观察，该服务的其他操作可以触发观察。比如，客户端可以对某个客户端调用exists操作，同时在它上面设置一个观察，如果此时这个znode不存在，则exists返回false，如果一段时间之后，这个znode被其他客户端创建，则这个观察会被触发，之前的那个客户端就会得到通知。

操作

ZooKeeper有9种基本操作：

操作

描述

create

创建一个znode（必须有父节点）

delete

删除一个znode（该znode不能有任何子节点）

exists

测试一个znode是否存在，并且查询它的元数据

getACL,setACL

获取/设置一个znode的ACL

getChildren

获取一个znode的子节点列表

getData,setData

获取/设置一个znode所保存的数据

sync

将客户端的znode视图与ZooKeeper同步

Zookeeper中的更新操作是有条件的。在使用delete或者setData操作时必须提供被更新znode的版本号，如果版本号不匹配，则更新操作失败。

API

目前主要有java和C两种客户端，每种操作都有同步和异步两种执行方式。

观察触发器

可以设置观察的操作：exists,getChildren,getData

可以触发观察的操作：create,delete,setData

 

观察触发器

设置观察的操作

create

delete

setData

znode

子节点

znode

子节点

  

exists

NodeCreated

  

NodeDeleted

  

NodeDataChanged

getData

    

NodeDeleted

  

NodeDataChanged

getChildren

  

NodeChildrenChanged

NodeDeleted

NodeChildrenChanged

  

NodeCreated:节点创建事件

NodeDeleted：节点被删除事件

NodeDataChanged：节点数据改变事件

NodeChildrenChanged：节点的子节点改变事件

ACL

每个znode被创建时都会带有一个ACL列表，用于决定谁可以对它执行何种操作。

ACL权限

允许的操作

CREATE

create（子节点）

READ

getChildren

getData

WRITE

setData

DELETE

delete（子节点）

ADMIN

setACL

每个ACL都是身份验证模式、符合该模式的一个身份和一组权限的组合。身份验证模式有三种： digest:用户名，密码

host:通过客户端的主机名来识别客户端

ip： 通过客户端的ip来识别客户端

所以我们可以类似这样构建一个ACL类：

new ACL(Perms.READ,new Id("host","example.com"));

这个ACL对应的身份验证模式是host

符合该模式的身份是example.com

权限的组合是：READ

实现

Zookeeper有两种运行模式：

独立模式（standalone mode):只运行在一台服务器上，适合测试环境

复制模式（replicated mode)：运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble）。Zookeeper通过复制来实现高可用性，只要集合体中半数以上的机器处于可用状态，它就能够保证服务继续。为什么一定要超过半数呢？这跟Zookeeper的复制策略有关：zookeeper确保对znode树的每一个修改都会被复制到集合体中超过半数的机器上。

生产环境，zookeeper集群的服务器数目应该是奇数。

Zookeeper集群中的角色及其职责

领导者

　　1.管理写请求

跟随者

　　1.响应客户端的读请求

　　2.负责把客户端提交的写请求转发给领导者

回话

客户端与zookeeper集群中的某个服务器建立连接，就建立了一个回话，回话可以过期，可以设置ping周期来防止回话过期。

滴答（tick time）：定义了zookeeper中的基本时间周期，其他设置都是根据滴答参数来定义的。2个滴答=<回话时间<=20个滴答时间

状态

　　CONNECTING,CONNECTED,CLOSED

---------------------------------------------------------------------------------------------------------------------------------------

更多查看（以下摘自官网）：http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.html

Zookper: 一种分布式应用的协作服务

Zookper是一种分布式的，开源的，应用于分布式应用的协作服务。它提供了一些简单的操作，使得分布式应用可以基于这些接口主要实现了配置管理、命名服务、提供分布式同步以及集群管理。Zookper很容易编程接入，它使用了一个和文件树结构相似的数据模型。可以使用Java或者C来进行编程接入。

众所周知，分布式的系统协作服务很难有让人满意的产品。这些协作服务产品很容易陷入一些诸如竞争选择条件或者死锁的陷阱中。Zookper的目的就是将分布式服务不再需要由于协作冲突而另外实现协作服务。

设计目标

Zookeeper是简易的

Zookeeper通过一种和文件系统很像的层级命名空间来让分布式进程互相协同工作。这些命名空间由一系列数据寄存器组成，我们也叫这些数据寄存器为znodes。这些znodes就有点像是文件系统中的文件和文件夹。和文件系统不一样的是，文件系统的文件是存储在存储区上的，而zookeeper的数据是存储在内存上的。同时，这就意味着zookeeper有着高吞吐和低延迟。

Zookeeper实现了高性能，高可靠性，和有序的访问。高性能保证了zookeeper能应用在大型的分布式系统上。高可靠性保证它不会由于单一节点的故障而造成任何问题。有序的访问能保证客户端可以实现较为复杂的同步操作。

Zookeeper是可重用的

ZooKeeper Service

zookeeper介绍以及安装配置

组成Zookeeper的各个服务器必须要能相互通信。他们在内存中保存了服务器状态，也保存了操作的日志，并且持久化快照。只要大多数的服务器是可用的，那么Zookeeper就是可用的。

客户端连接到一个Zookeeper服务器，并且维持TCP连接。并且发送请求，获取回复，获取事件，并且发送连接信号。如果这个TCP连接断掉了，那么客户端可以连接另外一个服务器。

Zookeeper是有序的

Zookeeper使用数字来对每一个更新进行标记。这样能保证Zookeeper交互的有序。后续的操作可以根据这个顺序实现诸如同步操作这样更高更抽象的服务。

Zookeeper是高效的

Zookeeper的高效更表现在以读为主的系统上。Zookeeper可以在千台服务器组成的读写比例大约为10:1的分布系统上表现优异。

数据结构和分等级的命名空间

Zookeeper的命名空间的结构和文件系统很像。一个名字和文件一样使用/的路径表现，zookeeper的每个节点都是被路径唯一标识

ZooKeeper's Hierarchical Namespace

zookeeper介绍以及安装配置

实现

下图显示了ZooKeeper服务的高级组件服务。除了请求处理器，Zookeeper服务器组的每个服务器复制他们自己的每个组件。

ZooKeeper Components

zookeeper介绍以及安装配置

replicated database是一个存储在内存中的包含整个数据树的结构。所有的更新操作都做日志到硬盘上了。并且写操作在作用在数据库的时候会序列化存储到硬盘上。

每个ZooKeeper服务器都连接了许多个客户端。客户端连接到一个服务器来提交请求。

---------------------------------------------------------------------------------------------------------------------

Zookeeper 安装与配置

最新的代码可以到 Zookeeper 的官网：http://mirrors.cnnic.cn/apache/zookeeper/下载。Zookeeper功能强大，但是安装却十分简单，下面重点以伪分布式模式来介绍 Zookeeper 的安装

Zookeeper 安装模式包括：单机模式，伪分布式模式和完全的集群模式。单机模式最简单，本文将跳过单机模式安装，单机模式安装步骤参见 http://zookeeper.apache.org/doc/current/zookeeperStarted.html

伪分布式模式与集群模式配置差别不大，所以本文采用了在单台机器上伪分布式安装

本次伪分布式模拟 5 个 Zookeeper 节点,事先在/tmp/zookeeper目录下建立5个文件夹(dataDir)，分别命名为：server001，server002，server003，server004，server005，然后在每个server00*文件夹下面新建 data 和 logs 子文件夹.

然后记得每个数据(data)文件夹下建一个myid的文件，里面依次写1-->2-->3

#mkdir -p /tmp/zookeeper/server001

#echo "1" >> /tmp/zookeeper/server001/data/myid

Zookeeper 的配置文件主要在 conf 目录，包括zoo.cfg (zoo_sample.cfg)和log4j.properties，修改 zoo_sample.cfg，重命名为zoo.cgf，打开zoo.cfg，内容如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

将内容修改为（server001节点的配置文件）z001.cfg：根据节点信息修改相应的 dataDir、dataLogDir、clientPort 项，其余不变

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper/server001/data
dataLogDir=/tmp/zookeeper/server001/logs # 日志保存路径 这个要在启动服务前自己手动创建好 mkdir /tmp/zookeeper/server001/logs
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=127.0.0.1:8881:7771
server.2=127.0.0.1:8882:7772
server.3=127.0.0.1:8883:7773
server.4=127.0.0.1:8884:7774
server.5=127.0.0.1:8885:7775

  • tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
  • dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
  • tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
  • initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
  • syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
  • server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号

在conf文件夹下新建相应的节点配置文件：z001.cfg、z002.cfg、z003.cfg、z004.cfg、z005.cfg

分别启动和关闭zookeeper服务方法：

[root@uz6531 bin]# /root/zookeeper-3.4.6/bin/zkServer.sh start z001.cfg
JMX enabled by default
Using config: /root/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[root@uz6531 bin]# /root/zookeeper-3.4.6/bin/zkServer.sh stop z001.cfg
JMX enabled by default
Using config: /root/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

如果一切顺利，Zookeeper 伪分布式模式安装成功，下面验证 Zookeeper 安装的正确性。

进入任意一个文件夹节点的zookeeper包所在的目录，执行一下命令：

# bin/zkCli.sh  -server 127.0.0.1:2181

执行成功后会出现以下提示：

Connecting to 127.0.0.1:2181

Welcome to ZooKeeper!

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: 127.0.0.1:2181(CONNECTED) 0]

help帮助:

[zk: 127.0.0.1:2181(CONNECTED) 0] help
ZooKeeper -server host:port cmd args
connect host:port
get path [watch]
ls path [watch]
set path data [version]
rmr path
delquota [-n|-b] path
quit
printwatches on|off
create [-s] [-e] path data acl
stat path [watch]
close
ls2 path [watch]
history
listquota path
setAcl path acl
getAcl path
sync path
redo cmdno
addauth scheme auth
delete path [version]
setquota -n|-b val path
[zk: 127.0.0.1:2181(CONNECTED) 1]

#/root/zookeeper-3.4.6/bin/zkServer.sh status 

JMX enabled by default
Using config: /root/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower    (表示跟随者)

至此，Zookeeper 安装完成！

相关zookeeper监控方法： https://blog.serverdensity.com/how-to-monitor-zookeeper/

zktop下载地址：https://github.com/phunt/zktop

相关文章