KafkaManager UI界面显示lag比较大问题,看到了别慌
这几天在做flume拦截器改写.准备部署测试了,为了不影响线上环境,换了一个消费者组,然后又换了一个输出路径.一切测试尝试后,终于把bug给修复好了,然后准备看看kafka的消费是否正常.What?怎么有个topic的lag比较大,另一个topic的lag很正常(同时消费两个topic的数据),再仔细看看,怎么只有部分partition的数据delay很多,然后其他partition是正常的lag
·
这几天在做flume拦截器改写.
准备部署测试了,为了不影响线上环境,换了一个消费者组,然后又换了一个输出路径.
一切测试尝试后,终于把bug给修复好了,然后准备看看kafka的消费是否正常.What?怎么有个topic的lag比较大,另一个topic的lag很正常(同时消费两个topic的数据),再仔细看看,怎么只有部分partition的数据delay很多,然后其他partition是正常的lag为0,如下图.
好吧,以为部分consumer节点有问题,然后重启试试,然后coordinator会对新加入的分区重新分配,what怎么还是有delay.好吧仔细看看,这个topic的数据不多啊,基本上offset不更新.
在命令行测试下,新建了一个消费者,从开始消费的时候,lag会变为0,但是从largest消费的时候,发现也是会出现上面的情况.应该是可以确定是因为没有新数据导致offset不更新.
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)