Linux 下搭建 Kafka 环境

时间:2022-10-17 15:10:26

作者:Grey

原文地址:

博客园:Linux 下搭建 Kafka 环境

CSDN:Linux 下搭建 Kafka 环境

环境要求

操作系统:CentOS 7

下载地址

安装说明

Kafka 版本:2.11-2.1.0

下载地址

注:这个版本的 Kafka 需要依赖 JDK 和 Zookeeper。

JDK 版本:8u181

下载地址

Zookeeper 版本:3.4.5

下载地址

注:以上中间件均搭建在一个 Linux 系统中,如果需要分不同的系统安装,注意修改对应的连接配置。

如果使用的中间件版本不一致,请以官方搭建文档为准。

安装步骤

准备软件目录

mkdir /datalake

上传之前下载好的安装包到 /datalake 目录下

jdk-8u181-linux-x64.gz

kafka_2.11-2.1.0.tgz

zookeeper-3.4.5.tar.gz

批量解压这几个安装包

cd /datalake
ls * | xargs -n1 tar xzvf

将解压的软件移动到 /usr/local 目录

cd /datalake
mv jdk1.8.0_181 /usr/local/jdk
mv kafka_2.11-2.1.0 /usr/local/kafka
mv zookeeper-3.4.5 /usr/local/zk

配置 Zookeeper

cd /usr/local/zk/conf

首先,先备份 Zookeeper 的默认配置文件

cp zoo_sample.cfg zoo.cfg

然后将配置文件修改下

vi zoo.cfg

将 dataDir 选项配置为

dataDir=/usr/local/zk/data

接下来,配置 Kafka

vi /usr/local/kafka/config/server.properties

将 log.dirs 参数修改为

log.dirs=/usr/local/zk/logs

由于 Kafka 和 Zookeeper 装在同一个 Linux 中,所以 zookeeper.connect 配置维持默认配置即可

zookeeper.connect=localhost:2181

配置环境变量

vi /usr/profile

添加如下内容

export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin

应用环境变量

source /etc/profile

接下来,就开始启动 Kafka,首先,需要先启动 Zookeeper

zkServer.sh start

输出信息如下

[root@datalake conf]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

说明启动成功。

接下来启动 Kafka

kafka-server-start.sh /usr/local/kafka/config/server.properties

接下来,再打开 Shell 一个窗口,创建 topic

kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic  test

然后再开一个 Shell 窗口,启动生产者

kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic  test

再打开一个 Shell 窗口,启动消费者

kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic  test

切换到生产者启动页面,发送数据,消费者能正常接收数据

生产者

Linux 下搭建 Kafka 环境

消费者

Linux 下搭建 Kafka 环境