Kafka读写流程
Kafka写数据流程1. 连接zk集群，从zk中拿到对应的topic的partition信息和partition的leader的相关信息2. 连接到对应的leader对应的broker3. 将消息发送到partition的leader上4. 其他follower从leader同步数据5. 依次返回ack6. 直到所有的ISR中的数据写入完成，才完成提交，整个写过程结束心跳通讯是保证kafka的高可
·
Kafka写数据流程
1. 连接zk集群，从zk中拿到对应的topic的partition信息和partition的leader的相关信息
2. 连接到对应的leader对应的broker
3. 将消息发送到partition的leader上
4. 其他follower从leader同步数据
5. 依次返回ack
6. 直到所有的ISR中的数据写入完成，才完成提交，整个写过程结束
心跳通讯是保证kafka的高可用
Kafka读数据流程
1. 连接zk集群，从zk中拿到对应的topic的partition信息和partition的leader的相关信息
2. 连接到对应的leader对应的broker
3. consumer将自己保存的offset发送给leader
4. leader根据offset等信息定位到segment（索引文件和日志文件）
5. 根据索引文件中的内容，定位到日志文件中该偏移量对应的开始位置读取相应长度的数据并返回给consumer
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)