什么是Kafka

	kafka在未进入Apache的时候,是LinkedIn开源。LinkedIn是非常出名的一个开源平台,它为我们带来了非常多的开源产品:分布式数据同步框架Databus 、高性能计算引擎Cubert、 Java异步处理框架 ParSeq等。
	kafka官方是这么解释的:
	![3个特性](https://img-blog.csdnimg.cn/20190726213724566.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
	1、消息队列  2、数据流处理平台(可以容错) 3、数据产生时处理
	![在这里插入图片描述](https://img-blog.csdnimg.cn/201907262139573.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
	这个就不翻译了,太难,就是数据流处理。

Kafka基本概念

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Kafka基本结构

官方图片结构:
在这里插入图片描述
Kafka是强依赖Zookeeper的:
1、Broker信息保存在zk
2、Topic partition信息保存在zk 等
在这里插入图片描述
消息结构:
在这里插入图片描述

Kafka特点

1、多分区 多个Partition
2、多副本(有一个Leader负责读写) 提供容错性扩展性
3、多个订阅者,订阅者数量小于等于Partition
4、基于Zookeeper调度 zk特性

5、高性能 ,高并发
6、低延迟
7、时间复杂度O(1)

8、数据可持久化
9、容错性
10 、水平扩展
11、消息自动平衡

Kafka应用场景

1、消息队列
2、行为监控
3、日志处理
4、流处理
。。。

Kafka简单应用

这一章节简单介绍一下Kafka基本概念,下一节做一个简单的demo,谢谢观看

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐