Kafka流处理平台
什么是Kafkakafka在未进入Apache的时候,是LinkedIn开源。LinkedIn是非常出名的一个开源平台,它为我们带来了非常多的开源产品:分布式数据同步框架Databus 、高性能计算引擎Cubert、 Java异步处理框架 ParSeq等。kafka官方是这么解释的:![3个特性](https://img-blog.csdnimg.cn/2019072621372456...
·
什么是Kafka
kafka在未进入Apache的时候,是LinkedIn开源。LinkedIn是非常出名的一个开源平台,它为我们带来了非常多的开源产品:分布式数据同步框架Databus 、高性能计算引擎Cubert、 Java异步处理框架 ParSeq等。
kafka官方是这么解释的:
![3个特性](https://img-blog.csdnimg.cn/20190726213724566.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
1、消息队列 2、数据流处理平台(可以容错) 3、数据产生时处理
![在这里插入图片描述](https://img-blog.csdnimg.cn/201907262139573.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
这个就不翻译了,太难,就是数据流处理。
Kafka基本概念
Kafka基本结构
官方图片结构:
Kafka是强依赖Zookeeper的:
1、Broker信息保存在zk
2、Topic partition信息保存在zk 等
消息结构:
Kafka特点
1、多分区 多个Partition
2、多副本(有一个Leader负责读写) 提供容错性扩展性
3、多个订阅者,订阅者数量小于等于Partition
4、基于Zookeeper调度 zk特性
5、高性能 ,高并发
6、低延迟
7、时间复杂度O(1)
8、数据可持久化
9、容错性
10 、水平扩展
11、消息自动平衡
Kafka应用场景
1、消息队列
2、行为监控
3、日志处理
4、流处理
。。。
Kafka简单应用
这一章节简单介绍一下Kafka基本概念,下一节做一个简单的demo,谢谢观看
更多推荐
已为社区贡献2条内容
所有评论(0)