ZooKeeper系列(1):安装搭建ZooKeeper环境

时间:2021-02-14 16:08:27

ZooKeeper系列文章:https://www.cnblogs.com/f-ck-need-u/p/7576137.html#zk


ZooKeeper有三种安装模式:单机安装(standalone)、伪集群模式、集群模式:

  • standalone模式:只在一台机器上安装ZooKeeper,并只启动一个ZooKeeper实例。
  • 伪集群:在一台机器上开启多个ZooKeeper实例来模拟集群。通过加载不同配置文件,分配不同数据目录来实现这种模式。因为在同一机器上运行,所以机器宕机,整个ZooKeeper就挂了。基本上不会布置这样的ZooKeeper集群。
  • 集群模式:在至少3台机器上安装ZooKeeper构成集群,只要故障节点数量在一定范围内就能保证ZooKeeper服务的可用性。

真正布置的基本上都是集群模式,standalone偶尔用来做些测试,它有单点故障,伪集群模式也有单点故障。

集群模式并非一定至少3台机器,但用2台机器比1台机器更危险,因为随便故障一台都无法满足"大多数"的要求,都会阻塞整个ZooKeeper服务。而2台机器的故障几率是1台机器的2倍。所以,也建议采用奇数台机器来部署ZooKeeper。

ZooKeeper下载:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/

我下载的是3.4.12版本。

1.安装jdk

ZooKeeper运行在java环境下,所以需要先安装jdk,且要求版本高于1.6。

jdk下载:http://www.oracle.com/technetwork/java/javase/downloads/index.html

以rpm包的为例。

yum localinstall -y jdk-8u131-linux-x64.rpm

rpm包的安装路径为/usr/java。

[root@s1 ~]# ls -l /usr/java/
total 4
lrwxrwxrwx 1 root root 16 Jun 26 22:53 default -> /usr/java/latest
drwxr-xr-x 9 root root 4096 Jun 26 22:53 jdk1.8.0_131
lrwxrwxrwx 1 root root 22 Jun 26 22:53 latest -> /usr/java/jdk1.8.0_131

通过这种软链接方式,以后有新版jdk要安装,直接改latest的链接对象即可。

然后再设置JAVA_HOME环境变量并导出java程序所在目录的PATH环境变量。

echo 'JAVA_HOME=/usr/java/latest' > /etc/profile.d/jdk.sh
echo 'PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile.d/jdk.sh
chmod +x /etc/profile.d/jdk.sh
source /etc/profile.d/jdk.sh

2.StandAlone模式

standalone模式是在单机上安装ZooKeeper。

先解压zookeeper-3.4.12.tar.gz。

tar xf zookeeper-3.4.12.tar.gz

再把它移到/usr/local/下方便管理。

mv zookeeper-3.4.12 /usr/local/zookeeper

在ZooKeeper的bin目录下提供了几个Windows和Linux下的脚本:

[root@s2 zookeeper]# cd /usr/local/zookeeper
[root@s2 zookeeper]# ls bin
README.txt zkCleanup.sh zkCli.cmd zkCli.sh zkEnv.cmd zkEnv.sh zkServer.cmd zkServer.sh
  • zkServer:用于启动、停止ZooKeeper,且能查看ZooKeeper状态。
zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}
  • zkEnv:设置ZooKeeper启动、关闭时的环境变量。在其余的每个脚本中都引用了这个脚本。
  • zkCleanup:清除ZooKeeper的事务日志和快照。
  • zkCli:ZooKeeper的一个命令行客户端。

设置ZooKeeper的环境变量,这不是必须的,只是为了方便操作上面的几个脚本。

echo 'ZOOKEEPER_HOME=/usr/local/zookeeper' >/etc/profile.d/zk.sh
echo 'PATH=$ZOOKEEPER_HOME/bin:$PATH' >> /etc/profile.d/zk.sh
chmod +x /etc/profile.d/zk.sh
source /etc/profile.d/zk.sh

把windows下的脚本删除:

rm -rf /usr/local/zookeeper/bin/{*.cmd,README.txt}

为了启动ZooKeeper,先提供一个配置文件。默认配置文件的路径为$ZOOKEEPER_HOME下的conf目录。在这个目录下,有几个文件:

[root@s2 zookeeper]# ls conf
configuration.xsl log4j.properties zoo_sample.cfg
  • configuration.xsl:无视它。
  • log4f.properties:是ZooKeeper的日志配置文件。
  • zoo_sample.cfg:是ZooKeeper的示例配置文件。

zkServer.sh默认的配置文件名为zoo.cfg。所以,在conf目录下创建一个zoo.cfg。写入几个保证ZooKeeper能正常运行的配置项:

tickTime=2000
dataDir=/usr/local/zookeeper/data1
clientPort=2181

其中:

  • tickTime:ZooKeeper中很多配置项(如心跳时间、连接超时时间等)都要用到的时间单位,这里配置为2000毫秒,即2秒。
  • dataDir:ZooKeeper实例的数据目录。
  • clientPort:ZooKeeper向外提供服务的端口。

然后用zkServer.sh来启动ZooKeeper。

[root@s2 zk]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

也可以手动指定启动时读取的配置文件:

[root@s2 zk]# zkServer.sh start /usr/local/zookeeper/conf/zoo.cfg

查看ZooKeeper的运行状态:

[root@s2 zk]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: standalone

可以看到运行模式是"standalone"。

ZooKeeper启动后,就可以向外提供ZooKeeper服务了。这里用ZooKeeper提供的命令行客户端去连接一下ZooKeeper做个简单的测试。

连接ZooKeeper实例:

zkCli.sh -server localhost:2181

连接过程中会输出一大堆信息。当连接成功后,将进入ZooKeeper的交互式模式:

WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2181(CONNECTED) 0]   # 在这里输入ZooKeeper允许的命令

例如,创建一个znode:

[zk: localhost:2181(CONNECTED) 0] create /zk_test mydata1
Created /zk_test
[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper, zk_test] [zk: localhost:2181(CONNECTED) 2] quit

3.配置伪集群模式

ZooKeeper的伪集群模式是在一个服务器上运行多个ZooKeeper实例来模拟ZooKeeper集群。伪集群模式下,每个实例的配置文件不同、数据目录不同、端口不同。一般来说,ZooKeeper集群至少需要3个服务器节点。

这里,我配置3个实例的ZooKeeper伪集群,它们的数据目录分别为$ZOOKEEPER_HOME下的data1、data2和data3。因为稍后要向这些目录中写myid文件,所以先创建这3个目录:

mkdir /usr/local/zookeeper/data{1,2,3}

先提供3个实例的配置文件,分别为$ZOOKEEPER_HOME/conf/{zoo1.cfg,zoo2.cfg,zoo3.cfg}

以下是zoo1.cfg内容,各配置项稍后解释。

tickTime=2000
dataDir=/usr/local/zookeeper/data1
clientPort=2181
initLimit=5
syncLimit=2
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

以下是zoo2.cfg内容,各配置项稍后解释。

tickTime=2000
dataDir=/usr/local/zookeeper/data2
clientPort=2182
initLimit=5
syncLimit=2
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

以下是zoo3.cfg内容,各配置项稍后解释。

tickTime=2000
dataDir=/usr/local/zookeeper/data3
clientPort=2183
initLimit=5
syncLimit=2
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

上面的配置项中:

  • initLimit:当非leader节点(即follower和observer)启动时,需要先从leader那里复制数据,以保证所有ZooKeeper节点数据都是同步的。这个选项设置非leader节点从启动到完成同步的超时时长,它以tickTime为时间单位,所以上面的超时时长为5*2=10秒。

    一般来说,ZooKeeper保存的都是协调数据,数据量并不大,所以多数时候可以忽略这个参数,如果待同步数据真的很大,可以考虑增加这个超时时间。

  • syncLimit:follower和leader之间数据延迟的最大时间长度。例如,有个节点的更新操作缓慢,它的数据已经严重落后于leader,ZooKeeper就会将它从ZooKeeper集群中踢出去。ZooKeeper使用时间来度量follower和leader之间数据的延迟,这个选项的值依赖于tickTime,例如tickTime=2000,syncLimit=2表示follower比leader延迟了4秒。

  • server.X=[hostname]:port_A:port_B:该选项用来指定ZooKeeper集群中的服务器节点。其中:

    • X:整数。是ZooKeeper中服务器的一个简单标识。这个数值需要和dataDir下的myid文件内容一致。在启动ZooKeeper集群中的每个实例时,需要读取数据目录中的myid文件,并将该文件中的数值和配置文件中的server.X做匹配,匹配到哪个就表示是哪个ZooKeeper服务器节点。
    • hostname:ZooKeeper服务器节点的地址。
    • port_A:这是第一个端口,用于Follower和Leader之间的数据同步和其它通信。
    • port_B:这是第二个端口,用于Leader选举过程中投票通信。

所以,分别在每个实例的dataDir下创建对应的myid文件。

echo 1 >/usr/local/zookeeper/data1/myid
echo 2 >/usr/local/zookeeper/data2/myid
echo 3 >/usr/local/zookeeper/data3/myid

然后启动这3个ZooKeeper实例。

zkServer.sh start /usr/local/zookeeper/conf/zoo1.cfg
zkServer.sh start /usr/local/zookeeper/conf/zoo2.cfg
zkServer.sh start /usr/local/zookeeper/conf/zoo3.cfg

查看当前java进程列表:

[root@s1 zk]# jps -l
5473 org.apache.zookeeper.server.quorum.QuorumPeerMain
5395 org.apache.zookeeper.server.quorum.QuorumPeerMain
5427 org.apache.zookeeper.server.quorum.QuorumPeerMain
5524 sun.tools.jps.Jps

查看这3个实例之间的关系:zoo2.cfg被选为leader,其它是follower。

[root@s1 zk]# zkServer.sh status /usr/local/zookeeper/conf/zoo3.cfg
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/conf/zoo3.cfg
Mode: follower [root@s1 zk]# zkServer.sh status /usr/local/zookeeper/conf/zoo1.cfg
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/conf/zoo1.cfg
Mode: follower [root@s1 zk]# zkServer.sh status /usr/local/zookeeper/conf/zoo2.cfg
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/conf/zoo2.cfg
Mode: leader

可以用ZooKeeper提供的命令行客户端工具来测试,写入其中一个实例的数据,其它实例也能收到。

[root@s1 zk]# zkCli.sh -server localhost:2181 create /my_znode hello
......省略.........
WatchedEvent state:SyncConnected type:None path:null
Created /my_znode [root@s1 zk]# zkCli.sh -server localhost:2182 ls /
......省略........
WatchedEvent state:SyncConnected type:None path:null
[my_znode, zookeeper]

4.配置ZooKeeper集群

以3节点的集群为例:192.168.100.21、192.168.100.22、192.168.100.23。因为前面配置单机ZooKeeper和伪集群ZooKeeper已经解释过所有步骤和配置项的意义,所以这里就直接给步骤。

假设已经在3个节点上都安装好了jdk(这是前提),并下载好了ZooKeeper。

先解压zookeeper-3.4.12.tar.gz。

# 3个节点都执行
tar xf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /usr/local/zookeeper

添加ZooKeeper环境变量,非必须过程,但建议。

# 在3节点上都执行
echo 'ZOOKEEPER_HOME=/usr/local/zookeeper' >/etc/profile.d/zk.sh
echo 'PATH=$ZOOKEEPER_HOME/bin:$PATH' >> /etc/profile.d/zk.sh
chmod +x /etc/profile.d/zk.sh
source /etc/profile.d/zk.sh

提供配置文件。以下是3个节点上的配置文件:

[root@s1 zk]# cat /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
dataDir=/usr/local/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.100.21:2888:3888
server.2=192.168.100.22:2888:3888
server.3=192.168.100.23:2888:3888

在三个节点上都创建好数据目录,并写入myid文件。

# 3个节点上都执行:
mkdir /usr/local/zookeeper/data # 192.168.100.21上执行
echo 1 >/usr/local/zookeeper/data/myid # 192.168.100.22上执行
echo 2 >/usr/local/zookeeper/data/myid # 192.168.100.23上执行
echo 3 >/usr/local/zookeeper/data/myid

启动这3个ZooKeeper实例。

# 3个节点都执行:
zkServer.sh start

然后在3个节点上都验证一下是否正确启动ZooKeeper。

# 节点1上执行:
[root@s1 zk]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower # 节点2上执行:
[root@s2 zk]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower # 节点3上执行:
[root@s3 zk]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

如果某个服务器实例出现了错误,请zkServer.sh stop关闭ZooKeeper实例,然后jps命令查看下是否还有ZooKeeper实例在运行,如果有,kill掉。然后再启动ZooKeeper。另外,建议在第一次启动ZooKeeper之前,先将dataDir/version-2目录删除(如果已存在,因为可能是以前的实例因为各种原因而留下来的)。

最后测试下,某节点上创建一个znode,其它节点是否也同步了该节点。

# 在192.168.100.21上创建一个znode:
[root@s2 zk]# zkCli.sh -server 192.168.100.21:2181 create /test_znode "hello world"
Connecting to 192.168.100.21:2181
.........省略..........
Created /test_znode # 在192.168.100.22上获取这个znode
[root@s2 zk]# zkCli.sh -server 192.168.100.22:2181 get /test_znode
Connecting to 192.168.100.22:2181
.........省略..........
hello world
cZxid = 0x100000002
ctime = Wed Jun 27 08:14:38 CST 2018
mZxid = 0x100000002
mtime = Wed Jun 27 08:14:38 CST 2018
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 0 # 在192.168.100.23上获取这个znode
[root@s2 zk]# zkCli.sh -server 192.168.100.23:2181 ls /
Connecting to 192.168.100.23:2181
.........省略..........
[zookeeper, test_znode]