kafka消息监控-KafkaOffsetMonitor

时间:2022-08-03 16:17:49

参照site:https://github.com/quantifind/KafkaOffsetMonitor

一、简述

  这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。

  它让我们很直观的知道,每个Partition的Message是否消费掉,有没有阻塞等等。

  这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据,我们可以通过浏览Web管理的相关模块,清楚的知道最近一段时间的消费情况。

二、下载

  Here 是github提供的下载地址,经测试不能友好运行,后来查阅才知道这个jar包中有谷歌的超链接。

  我将前辈编译过后的jar已存入盘,方便使用。下载地址

  (如果你会编译修改,请不吝赐教!谢谢!!!)

三、安装

  KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,

  我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本,脚本内容如下所示:

    #! /bin/bash

    java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
    com.quantifind.kafka.offsetapp.OffsetGetterWeb \
    --zk h1:2181 \
    --port 8089 \
    --refresh 10.seconds \
    --retain 1.days

  解释以下这条启动命令的含义,首先我们需要指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值

  kafka消息监控-KafkaOffsetMonitor

四、启动

  1.启动zookeeper:

    > bin/zkServer.sh start

  2.启动kafka:

    > bin/kafka-server-start.sh config/server.properties

  3.启动web监控:

    > sh monitor_start.sh

五、KafkaOffsetMonitor运行预览

  本人是通过远程登录Linux系统查看的。登录方式 参考我之前写的 《使用XRDP实现Windows远程桌面Linux系统》

  消费组:

  kafka消息监控-KafkaOffsetMonitor

  topic的所有partiton消费情况列表、

  kafka消息监控-KafkaOffsetMonitor

  以上图中参数含义解释如下:

   topic:创建时topic名称

   partition:分区编号

   offset:表示该parition已经消费了多少条message

   logSize:表示该partition已经写了多少条message

   Lag:表示有多少条message没有被消费。

   Owner:表示消费者

   Created:该partition创建时间

   Last Seen:消费状态刷新最新时间。

  kafka正在运行的topic

  kafka消息监控-KafkaOffsetMonitor

  kafka集群topic列表

  kafka消息监控-KafkaOffsetMonitor

  kafka集群broker列表

  kafka消息监控-KafkaOffsetMonitor

kafka消息监控-KafkaOffsetMonitorkafka消息监控-KafkaOffsetMonitor