kafka的分区和消费者组
消费者组消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据（不论topic有几个分区）。单个消费者组topic单分区partition，同一个消费者组中有两个消费者这说明：同一个分区内的消息只能被同一个组中的一个消费者消费，当消费者数量多于分区数量时，多于的消费者空闲（不能消费数据）topic三分区，同一个消费者组创建2个消费者这说明：当分
·
消费者组
消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据（不论topic有几个分区）。
单个消费者组
- topic单分区partition，同一个消费者组中有两个消费者（单播模式）
这说明：同一个分区内的消息只能被同一个组中的一个消费者消费，当消费者数量多于分区数量时，多于的消费者空闲（不能消费数据）
- topic三分区，同一个消费者组创建2个消费者
这说明：当分区数多于消费者数的时候，有的消费者对应多个分区
- topic三分区，同一个消费者组创建3个消费者
这说明：当分区数等于消费者数的时候，每个消费者对应一个分区
多个消费者组
创建两个消费者组，每个消费者组一个消费者（广播模式）
这说明：启动多个组，相同的数据会被不同组的消费者消费多次
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
4
0- 0
已为社区贡献4条内容
所有评论(0)