多个目录分布在不同的磁盘上可以提高读写性能num.partitions =2 ? 每个tipic的默认分区个数

时间:2022-03-07 02:06:44

为了演示集群的效果,这里筹备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安置了kafka。

前期筹备说明:

1.三台zookeeper处事器,本机安置一个作为server1,虚拟机安置两个(单IP)

2.三台kafka处事器,本机安置一个作为server1,虚拟机安置两个。

备注:固然你可以直接在虚拟机上安置三个处事器分袂为server1、server2、server3 。

虚拟机和本机网络环境

1.将虚拟机的网络模式调解为桥接模式,将虚拟机的防火墙成果*;

2.将主机的防火墙也*。

3.互相ping,测试是否能正常连接.。

下载kafka

从Kafka官网下载Kafka安置包。(要下载Binary downloads这个类型,不要下载源文件,便利使用)

下载zookeeper

从zookeeper官网下载zookeeper安置包。

下载JDK

从官网下载(建议下载Oracle官方颁布的Java),,配置环境变量。

zookeeper集群环境搭建 本机配置 改削本机sever1的zoo.cfg文件配置:

#存储内存中数据库快照的位置,如果不设置参数,更新事务日志将被存储到默认位置。 #dataDir=http://www.mamicode.com/tmp/zookeeper dataDir=D:/bigData/zookeeper-3.4.10/data #日志文件的位置 dataLogDir=D:/bigData/zookeeper-3.4.10/zlog #监听端口 clientPort=2181 #集群处事器配置 server.1=192.168.1.130:9000:7000 server.2=192.168.1.103:9001:7001 server.3=192.168.1.103:9002:7002

格局: server.A = B:C:D

A:是一个数字,暗示第几号处事器

B:处事器IP地点

C:是一个端标语,用来集群成员的信息交换,暗示这个处事器与集群中的leader处事器交换信息的端口

D:是在leader挂失时专门用来进行选举leader所用的端口

完整配置文件如下:

# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. #dataDir=http://www.mamicode.com/tmp/zookeeper dataDir=D:/bigData/zookeeper-3.4.10/data dataLogDir=D:/bigData/zookeeper-3.4.10/zlog # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=192.168.1.130:9000:7000 server.2=192.168.1.101:9001:7001 server.3=192.168.1.101:9002:7002

View Code 创建serverID

zoo.cfg配置文件中dataDir目录中新建一个没有后缀的myid文件,里边写1

多个目录分布在不同的磁盘上可以提高读写性能num.partitions =2 ? 每个tipic的默认分区个数

虚拟机配置

将本机的zookeeper安置包拷贝到虚拟机上,然后在盘中新建两个目录,server2,server3目录。

多个目录分布在不同的磁盘上可以提高读写性能num.partitions =2 ? 每个tipic的默认分区个数

改削server2的zoo.cfg配置文件:

#存储内存中数据库快照的位置,如果不设置参数,更新事务日志将被存储到默认位置。 #dataDir=http://www.mamicode.com/tmp/zookeeper dataDir=E:/bigData/server2/zookeeper-3.4.10/data #日志文件的位置 dataLogDir=E:/bigData/server2/zookeeper-3.4.10/zlog #监听端口 clientPort=2182 #集群处事器配置 server.1=192.168.1.130:9000:7000 server.2=192.168.1.103:9001:7001 server.3=192.168.1.103:9002:7002

创建SeverID

在zoo.cfg配置文件中dataDir目录中新建一个没有后缀的myid文件,里边写2。

同理配置server3中的zookeeper,这样zookeeper集群的配置事情已经完成。