CentOS7 如何查看kafka topic中的数据

时间:2024-11-24 15:33:09

1. 确保 Kafka 服务运行

先检查 Kafka 和 Zookeeper 是否正在运行:

systemctl status kafka 
systemctl status zookeeper 

如果没有启动,先启动服务:

systemctl start zookeeper 
systemctl start kafka 

2. 进入 Kafka 安装目录

通常 Kafka 的脚本文件位于 Kafka 的安装目录,比如 /opt/kafka/bin/usr/local/kafka/bin。切换到该目录:

cd /opt/kafka/bin 

3. 列出现有的 Topics

使用 kafka-topics.sh 列出当前的 topics:

./kafka-topics.sh --bootstrap-server localhost:9092 --list 

你会看到所有可用的 topics。


4. 查看 Topic 数据

使用 kafka-console-consumer.sh 来消费指定 topic 的数据。

命令:

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic-name> --from-beginning 
  • 替换 <topic-name> 为你想要查看的 topic 名字。
  • --from-beginning 表示从头开始消费所有消息。如果你想查看最新的数据,可以省略这个参数。

示例

假设 Kafka 安装在 /opt/kafka,要查看名为 test-topic 的数据:

cd /opt/kafka/bin ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning 

5. 其他常用参数

  • 指定消费组:

    ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic-name> --group <group-name> 

    替换 <group-name> 为消费组名称。

  • 只查看部分消息: 如果消息量很大,你可以控制只读取有限条消息(比如 10 条):

    ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <topic-name> --max-messages 10