• Kafka 把同一类数据进行汇总，每一类数据的集合就是一个Topic， 相当于表。
• 生产者Producer将同一类型的数据写入同一个Topic，消费者Consumer从同一个Topic中消费该同类数据。
• Topic逻辑上的概念，使用者只用知道Topic即可，无需关系数据存于何处。

• Topic有多个分区，相当于数据分成多份，存放在不同分区中。
• 分区是 物理概念，每个分区对应一个文件夹，存储分区的数据和索引文件。
• 分区是有序、不可修改的消息队列， 每个分区内消息是有序的。

• Zookeeper负责保存Kafka的元数据
• 负责Kafka的集群管理，包括配置管理、动态扩展、Broker负载均衡、Leader选举、以及CG变化时重新平衡

• CRC32: CRC32校验和，4个字节。
• magic: Kafka服务程序协议版本号 ，用于做兼容。1个字节。
• attributes: 该字段占1字节，其中低两位用来表示压缩方式，第三位表示时间戳类型（0表示LogCreateTime，1表示LogAppendTime），高四位为预留位置，暂无实际意义。
• timestamp: 消息时间戳，当magic>0 时消息头必须包含该字段。8个字节。
• key-length: 消息key长度，4个字节。
• key: 消息key实际数据。
• payload-length: 消息实际数据长度，4个字节。
• payload: 消息实际数据 在实际存储一条消息还包括12字节的额外开销（LogOverhead）:
  • 消息的偏移量: 8字节，类似于消息的Id。
  • 消息的总长度: 4字节

(2)存储过程

    消息在Broker中按照Topic进行分类，并且在每个Topic中有多个分区，分区又可以有多个Replication副本，这些副本存放在不同的Broker中。

(3)写入过程

• Kafka中分区是一个FIFO队列，所以写入某个Partition中的消息是采用在队列末尾追加的形式，而消费消息是从队列头部来顺序进行读取。

• 一个Topic可分为多个Partition，仅保证同一分区内消息有序存储，不保证Topic整体（多个分区之间）有序

(4)读取过程

• CG消费者组是为了加快消费的读取速度的一个模型，一个消费者组中的多个消费者可以并行消费同一个Topic中的数据。

• 多个CG可以消费同一个Topic，这些消费者组之间是平等的，即同一条消息可同时被多个消费者组消费。

• 同一个CG消费者组中的多个Consumer消费者之间是竞争关系，也就是说同一条消息在一个消费者组中只能被一个消费者所消费