kafka接收不到数据


  一直都没有写博客,老是索取,没有回报,从今天开始记录每天碰到的问题。
  今天接到客户的消息,说kafka组件接收不到数据。然后过一会又接收到了,过了一会又收不到了。
  之前我们etl工具开发的kafka组件有些问题,如果kafka组件运行中报错了,那么通知kafka的broker的退出group的消息并没有发送成功,因为 kafka不支持异步调用关闭消费者的api.
  这就导致kafkabroker还以为消费者还在运行,于是继续把它当成活动的消费者,于是忽略新的消费者(由kafka的消费者分组策略导致)。 而新启动的etl任务中的消费者,在kafkabroker的心跳检测到旧消费者死前,都收不到消息。
  于是,我先给客户把消费者组件换了。防止这个问题出现。可是客户还是说收不到消息。甚至换了groupid,也没有用。
  奇怪了,从来没碰到过。
  于是发了命令bin/kafka-consumer-groups.bat --new-consumer --bootstrap-server ip:21007 --group group --describe,让客户执行,看看消费者群组的情况,消费者是否注册成功。
  可是客户执行命令时,又报错java not found,想起华为fusioninsight服务客户端软件安装时,都需要先点一下环境初始化脚本,估计客户没有执行这个脚本就开始执行kafka命令了。
  过了一会儿,客户反应接收可以了,终于告一段落。
  由于不能远程,只能这样不停的说来支持,真是太累了。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐