Kafka Monitor是kafka的监控工具,安装简单,页面简单,主要是用来监控消费者和offset,对kafka集群的支持较少

下载链接

kafka监控工具KafkaOffsetMonitor.rar

上传jar包

mkdir kafka-offset-monitor
cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar /usr/local/bigdata/kafka-offset-monitor/

cd kafka-offset-monitor

创建目录

mkdir mobile-logs
chmod 777 mobile-logs

创建启动脚本

vi start-kafka-offset-monitor.sh
chmod 777 start-kafka-offset-monitor.sh
#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers 192.168.199.100:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk 192.168.199.100:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &
  • 挺奇怪的,我的单机版kafka用主机名连不上,原因暂时未知,在排查

offsetStorage 老版本是存的zookeeper,现在建议用kafka
kafkaSecurityProtocol 是明文协议
refresh 多长时间刷新
retain 日志保留时间
port 端口别重复就行

访问8086

在这里插入图片描述

consumer groups是当前的消费者组

我们点进去看一下,发现有消费的topic的信息,包括topic的LEO和消费者提交的offset值
在这里插入图片描述

我们看一下topic list

我测试的,只创建了了一个mytopic
在这里插入图片描述
点进去可以看到很多监控指标
在这里插入图片描述

查看kafka集群

在这里插入图片描述

查看topic和consumer的关系

在这里插入图片描述

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐