Kafka 是消息中间件的一种,消息中间件的工作过程可以用生产者 (Producer) -消费者 (Consumer) 模型来表示。生产者发消息到消息队列 (broker) 中去,消费者监听指定的消息队列,并且当消息队列收到消息之后,接收消息队列传来的消息,并且给予相应的处理。消息队列常用于分布式系统之间互相信息的传递。 Kafka 的架构图如下:

kafka的架构

一个Topic (主题) 类似新闻中的体育、教育等分类概念,在实际工程中通常一个业务一个主题。一个 Topic 中的消息数据按照多个分区组织,Partition (分区) 是 Kafka 消息队列组织的最小单位,一个分区可以看作一个 FIFO 的队列。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐