项目中会使用kafka tools,主要看变更消息有没有被监听到

目录

1、下载与配置

2、排查问题

1、下载与配置

配置连接:

dcca3e826877fa75bccdfbbfe26f5b3b.png

配置字符类型:在Tools -->Settings --> Topics,将 Key 和 Message 均设置为String 保存。这样是全局设置,对所有 Topic 均生效

87b41a0334c28e1141162cc1759d3ff4.png

选中topics下的一个partition,然后点击data中的执行,查看message即可

02eef17569a3d1015945aa079ec2d83b.png

2、排查问题

问题一:查看生产者是否发了消息

执行完动作后,然后点击工具中的运行,然后根据日期倒叙显示,就可以看到最新的消息里面是否有自己执行动作产生的消息,如果数据库有变更,kafka中没有生产者的消息,那就是监听机制有问题,如果数据库没变更就是数据库有问题

ab6c1264db8549e86a54de918e0cd041.png

问题二:消息是否有堆积(生产者消息没问题,最终结果没有变化,那就是消费者出现问题,有可能是消息堆积)

根据问题一中的方法,可以拿到最新消息的offset,然后去服务器上查看最近一条消费的消息的offset,观察2者之前偏移量的差距就可以看到有没有堆积

此外,像mq是有后台登录的,是可以直接看到消息是否有堆积,kafka应该也有后台,具体可以自己研究

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐