kafka接收不到数据
kafka接收不到数据一直都没有写博客,老是索取,没有回报,从今天开始记录每天碰到的问题。
·
kafka接收不到数据
一直都没有写博客,老是索取,没有回报,从今天开始记录每天碰到的问题。
今天接到客户的消息,说kafka组件接收不到数据。然后过一会又接收到了,过了一会又收不到了。
之前我们etl工具开发的kafka组件有些问题,如果kafka组件运行中报错了,那么通知kafka的broker的退出group的消息并没有发送成功,因为 kafka不支持异步调用关闭消费者的api.
这就导致kafkabroker还以为消费者还在运行,于是继续把它当成活动的消费者,于是忽略新的消费者(由kafka的消费者分组策略导致)。 而新启动的etl任务中的消费者,在kafkabroker的心跳检测到旧消费者死前,都收不到消息。
于是,我先给客户把消费者组件换了。防止这个问题出现。可是客户还是说收不到消息。甚至换了groupid,也没有用。
奇怪了,从来没碰到过。
于是发了命令bin/kafka-consumer-groups.bat --new-consumer --bootstrap-server ip:21007 --group group --describe,让客户执行,看看消费者群组的情况,消费者是否注册成功。
可是客户执行命令时,又报错java not found,想起华为fusioninsight服务客户端软件安装时,都需要先点一下环境初始化脚本,估计客户没有执行这个脚本就开始执行kafka命令了。
过了一会儿,客户反应接收可以了,终于告一段落。
由于不能远程,只能这样不停的说来支持,真是太累了。
更多推荐
已为社区贡献1条内容
所有评论(0)