kafka安装环境配置

时间：2024-04-07 22:04:48

  1. 上传压缩包到3台服务器，解压，我的目录在/usr/local/kafka/里面
    下载路径：http://kafka.apache.org/downloads

  2. vi /etc/profile
    添加环境变量
    export KAFKA_HOME=/opt/programs/kafka_2.11-0.10.1.0
    export PATH=PATH:PATH:KAFKA_HOME/bin
    让配置生效
    source /etc/profile

  3. 配置 server.propertiesstorm
    vi /opt/programs/kafka_2.11-0.10.1.0/config/ server.propertiesstorm

（1）、配置 broker 的ID
broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推
（2）、打开监听端口
listeners=PLAINTEXT://192.168.195.132:9092 //尽量写ip地址，以免造成错误
（3）、修改 log 的目录、在指定的位置创建好文件夹logs
log.dirs=/usr/local/kafka/logs
（4）、修改 zookeeper.connect
尽量写ip地址，以免造成错误
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
（5）、网络线程数量
num.network.threads=3
（6）Zookeeper每6秒监视kafka是否还活着
zookeeper.connection.timeout.ms=6000（默认）
kafka安装环境配置
kafka安装环境配置
kafka安装环境配置
4. 分发到各个子节点，拷贝配置好的kafka文件到子节点服务器，然后修改broker.id的值，以及监听端口需要修改listeners
5. 启动kafka之前需启动zookeeper，然后启动kafka，各个节点需单独启动
进入kafka安装目录：cd /opt/programs/kafka_2.11-0.10.1.1

kafka-server-start.sh config/server.properties & (打印日志启动)
kafka-server-start.sh -daemon config/server.properties & （不打印日志启动）

  1. 检查kafka是否启动成功，通过jps查看jps是否启动成功。

kafka安装环境配置
kafka安装环境配置

  1. 通过创建一个topic（名字为test）来测试是否能成功运行，随便选择一个节点运行
    kafka-topics.sh --create --zookeeper hadoop2:2181 --replication-factor 1 --partitions 1 --topic zzk

  2. 列出kafka：kafka-topics.sh --list -zookeeper hadoop2:2181。有刚刚的测试topic名，表示创建成功。
    kafka安装环境配置

相关文章