背景:
CDH集群管理界面不提供Kafka具体的状态监控,需要自己安装相关工具,我们选择比较经典的yahoo开源工具 kafka-manager,搭配 kafka tool客户端工具使用。这里简单介绍下安装过程 ~


一、下载

直接在GitHub官网下载即可:https://github.com/yahoo/kafka-manager

在这里插入图片描述
需要注意的一点:
在这里插入图片描述

由于我们集群是0.11版本,完美支持。如果你使用的是Kafka 2.0+版本,我看到test包里有 Upgrade to kafka 2.2.0 commit,应该也支持新版本。


二、安装

下载tar包 kafka-manager-1.3.3.22.tar.gz 在服务器解压即可。

由于该工具是scala编写,需要sbt编译。如果还没安装sbt则需要安装:

yum install sbt

这里有的服务器需要更改镜像仓库文件,但我发现我们服务器直接就能安装不需要改。。

sbt-version

安装完可以查看版本信息,判断是否安装好

然后cd到解压后的kafka-manager目录下编译:

./sbt clean dist

编译kafka-manager,需要等很久。。
在这里插入图片描述
在这里插入图片描述

重新解压编译好的 kafka-manager-1.3.3.22.zip(在target目录里) 查看:
在这里插入图片描述
修改配置文件 conf/application.conf ,主要是zkhosts配置为自己zookeeper集群地址:

在这里插入图片描述


三、运行

执行运行命令,指定配置文件和web端口:

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9090 &

运行后jps查看进程:
在这里插入图片描述
可以在浏览器输入IP或主机名 + 9090端口查看web界面:
在这里插入图片描述
添加我们的Kafka集群信息:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
我安装的这个manager版本不支持查看topic具体消息,我一般搭配kafka tool客户端工具查看具体信息,这个直接在本地电脑下载安装即可:

在这里插入图片描述
在这里插入图片描述


Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐