kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test
最近在调试spark-streaming消费kafka消息时发现日志疯狂输出 marking the coordinator host:9092 for dead group consumer-testkafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错，去kafka server当中查询consumer-test组也存在，经过排查发现是由
最近在调试spark-streaming消费kafka消息时发现日志疯狂输出
marking the coordinator host:9092 for dead group consumer-test
kafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错，去kafka server当中查询consumer-test组也存在，经过排查发现是由于我的kafka集群某些hostname并未在client机器上配置，而其它机器server的hostname配置了，某一个机器网络是不通的，导致去获取该机器上的consumer-test组时无法获取到，就标记该组在机器上为死亡状态。
解决方案：配置该kafka server节点的hostname到client的/etc/hosts文件下，保证两者网络通信畅通。重新启动spark应用后，程序消费正常，问题解决
例如：连接kafka的ip地址为：192.10.9.20：9092 kafka的节点显示的是cnode1 dead
需要在host文件当中配置：192.10.9.20 cnode1
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)