记一次线上kafka消费的耗时太久导致触发rebalance然后导致重复消费问题
kafka消费的耗时太久导致触发rebalance然后导致重复消费问题
·
重复消费最常见的原因：re-balance问题,通常会遇到消费的数据，处理很耗时，导致超过了Kafka的session timeout时间（0.10.x版本默认是30秒），那么就会re-balance重平衡，此时有一定几率offset没提交，会导致重平衡后重复消费。
有一次做业务，由于我们消费的Kafka消息，然后调用下游消费这个消息，但是下游的消费能力有限，我们只能对消费的消息做限流，导致超过了Kafka的session timeout时间（0.10.x版本默认是30秒，那么就会re-balance重平衡，此时有一定几率offset没提交，会导致重平衡后重复消费。
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)