kfaka基本概念
Kafka第一章 kafka基本概念文章目录Kafka一、kafak作用？二、基本概念一、kafak作用？Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高性能、持久化、多副本备份、横向扩展能力。优点：解耦、削峰和灵活、缓冲（生产大于消费）、可恢复性二、基本概念broker：一个kafka服务实例，几个broker共同组成一个集群topic：消息分类 **注意：**Topic分区中消息只能由
·
Kafka
第一章 kafka基本概念
一、kafak作用？
- Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高性能、持久化、多副本备份、横向扩展能力。
- 优点：解耦、削峰和灵活、缓冲（生产大于消费）、可恢复性
二、基本概念
- broker：一个kafka服务实例，几个broker共同组成一个集群
- topic：消息分类 **注意：**Topic分区中消息只能由消费者组中的唯一一个消费者处理
- partition：一个topic有多个partition **思考：多个partition作用？**Kafka中采用分区的设计有几个目的。一是可以处理更多的消息，不受单台服务器的限制。Topic拥有多个分区意味着它可以不受限的处理更多的数据。第二，分区可以作为并行处理的单元。
- 一个分区下有多个segament，一个segement有log和index文件。思考：查找的过程？
根据offset，二分查看到文件
根据offset，查看index文件对应位置的偏移量和message大小
对应到log中找到message
Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)