kafka 有几个重要的概念需要先了解一下

broker:可以理解为kafka 所在的服务器

zookeeper:分布式服务框架在kafka 中的作用主要负责保存topic ,partition 元数据,和对broker 的监控及治理,以及partition 的leader 选举(partition 可以有多个副本,但是只有一个处于工作状态,副本只是负责同步数据,当leader partition 死掉了,会把起作一个副本的partition 升级为leader)

topic:主题,表示消息属于那种主题(可以理解为消息的分类)

partition:分区,从大的概念来说topic 中的消息都是存放在patition 中,一个topic 可以有多个partition,一个partition 可以有多个副本

offset:偏移量,在kafka 中offset 是partition 中消息序列号,可以认为是这个消息的唯一标识

segment:多个大小相等的segment file (段)组成了一个partition。

segment file 是什么?

每个partition 就相当于一个巨型的文件 里面由多个大小相等的segment file小文件组成,但是每个segment file 的消息数量并不一定相等,这种设计方便旧的segment file 快速删除

每个partition 只需支持顺序进行读写即可,segment 的生命周期由服务端配置参数决定

segment file 由2大部分组成,以.index结尾的索引文件,和以.log 结尾的数据文件 ,索引文件和数据文件的名称是一样的只是文件的后缀名不一样

索引文件是一个稀疏文件索引结构:

索引文件中包含若干个索引条目,每个条目表示数据文件中一条Message的索引。索引包含两个部分,分别为相对offset和position。

名词解释

1,相对offset:因为数据文件分段以后,每个数据文件的起始offset不为0,相对offset表示这条Message相对于其所属数据文件中最小的offset的大小。举例,分段后的一个数据文件的offset是从20开始,那么offset为25的Message在index文件中的相对offset就是25-20 = 5。存储相对offset可以减小索引文件占用的空间。
2,position,表示该条Message在数据文件中的绝对位置。只要打开文件并移动文件指针到这个position就可以读取对应的Message了。

数据文件结构定义如下

每条Message包含了以下三个属性:
offset
MessageSize
data
其中offset表示Message在这个partition中的偏移量(注意和索引文件的相对offset 区分),offset不是该Message在partition数据文件中的实际存储位置,而是逻辑上一个值,它唯一确定了partition中的一条Message,可以认为offset是partition中Message的id;MessageSize表示消息内容data的大小;data为Message的具体内容。
 

如果要查找一个消息在partition 中offset 为1000 的消息,

1先根据1000 找到所在.index 索引文件(如何找到这个索引文件,二分法,索引文件的命名就是根据offset 来命名的)

2在这个索引文件中根据相对offset 找到对应的最近索引记录,这个记录中有position (message 的物理地址)

3然后根据partition 的offset (注意 不是索引文件的相对offset)找出对应的message

 

 

 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐