kafka_consumer不消费数据的问题排查
背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看__consumer_offsets 这个topic情况我们apach kafka中的broker根本没有123，这个是cdh中的配置实际的三个brokerid是0，1，2停掉集
·
背景：
初始的时候，在cdh中部署了kafka集群
后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离
由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息
我们查看__consumer_offsets 这个topic情况
我们apach kafka中的broker根本没有123，这个是cdh中的配置
实际的三个brokerid是0，1，2
停掉集群，在zookeeper中删除 rmr /brokers/topics/__consumer_offsets 节点，启动消费者
再次查看__consumer_offsets信息
此时消费端能正常消费到消息了
参考链接：
https://blog.csdn.net/qq_26502245/article/details/100771092
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)