Kafka Tool是一个用于管理和使用Apache Kafka®集群的GUI应用程序。 Kafka Tool提供了一个较为直观的UI可让用户快速查看Kafka集群中的对象以及存储在topic中的消息,提供了一些专门面向开发人员和管理员的功能,主要特性包括:

  • 快速查看所有Kafka集群信息,包括其brokers, topics and consumers
  • 查看分区中的消息内容并支持添加新消息
  • 查看消费者偏移量,支持查看Apache Storm Kafka Spout消费者偏移量
  • 以pretty-printed 格式显示JSON和XML消息
  • 添加和删除topic以及其他管理功能
  • 将单个消息从指定分区保存到本地硬盘驱动器
  • 支持用户编写自己的插件以查看自定义数据格式
  • 支持在Windows,Linux和Mac OS上运行

Kafka工具仅供个人使用免费。 未经购买许可证,不得将其用于任何非个人用途,包括商业,教育和非营利性工作。 在下载Kafka Tool后的30天内,出于评估目的非个人是允许使用的,在此之后,用户必须购买有效的许可证或删除该软件。

下载安装

下载地址链接
https://www.kafkatool.com/download.html

配置

第一次打开软件时Kafka Tool会以弹窗的形式提示进行Kafka Cluster配置,需要输入Zookeeper或者Broker地址以找到相应集群。

当然除了基本属性设置外还支持安全性设置、高级设置及JAAS设置等。

将公司Kafka集群的Cluster name, Kafka Cluster Version, Zookeeper Host等配置信息按照要求填写到相关设置项中.

使用

预览

Kafka Tool提供了集群Brokers,Topics,Consumers信息预览功能,查看指定Topic下消息时支持关键词过滤等。

选中Topic,进入topic设置详情页,从页面中可以设置从Oldest还是Newest位置读取消息,同时可以设置读取数据的格式(String或者ByteArray)。由于测试Topic中数据是JSON格式,演示中将key和value都设置为String格式,设置完成后如果update没有变为灰色需要手动点击update更新配置。

可以通过”详情展示“ 按钮来查看详情,也可以选择读取位置。

在详情展示页面,支持修改查看消息的格式类型,在Text、Hex、JSON与XML之间任意切换

分区管理,新增和删除

在 ”topic分区管理“中,点击 ”+“ 按钮,设置 ”topic“ 信息(名字,分区数,副本数),即可创建topic。

有创建当然也会有删除啦,在topic分区管理中,选择需要删除的分区,点击 ”ד 按钮,弹出来的提示框中选择是,即可删除topic。

删除操作一定要慎重!请仔细确认!!!

删除操作一定要慎重!请仔细确认!!!

删除操作一定要慎重!请仔细确认!!!

为分区增加消息

在topic分区管理中,选择某个分区,可以为分区增加消息。点击 ”Data“ 下面的 ”+“ 按钮,弹出框选择 ”Add Multiple Message“,设置消息配置选项,在 ”Data“ 文本框按格式输入要添加消息,点击确定即可添加消息。

使用Kafka Tool查看和管理Consumer

界面左侧点击Consumers可以看到该集群的所有消费者组,在下面列出来的消费者组中,随便点击一个,右侧会出现包含Properties和Offsets选项的界面。。

Properties包含如下内容:消费者组(组名)Id,消费者类型,偏移量存储位置。

Offsets包含如下信息:刷新、打印、编辑功能,可以获取到消费者组消费的topic信息,分区偏移量信息,获取消费端的偏移量,积压的偏移量,以及偏移量最后提交时间等。

当然这里也可以进行编辑,选择要进行编辑的消费者组,双击编辑按钮, 选择设置偏移量方式(从起始位置消费,从截止位置消费,或者从指定的偏移量开始消费)

,点击update完成设置。

以这样的方式,跳过偏移数据,从而达到消费端的偏移量和topic的截止消费量一致(不等的原因是,topic一直有数据推送),,以提高消费端性能,减少资源占用。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐