一 kafka概述

1 kafka定义

kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）。类似于一个有顺序的缓冲区，将访问的信息缓冲起来，减少服务器的压力，主要应用于大数据实时处理领域。

点对点模式：一对一，消费者主动拉取数据，消息收到后消息清除。消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

发布/订阅模式：一对多，消费者消费数据之后不会清除消息。消息生产者（发布）将消息发布到topic（队列），同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。

2 kafka基础架构

基于发布/订阅模式的消费队列，topicA为kafka。

（1）Producer ：消息生产者，就是向kafka broker发消息的客户端；

（2）Consumer ：消息消费者，向kafka broker取消息的客户端；

（3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；不同消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者；

（4）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic；

（5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个topic；

（6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列；组内消息的索引叫做offset；

（7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower；

（8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。每一个有1个及以上副本的partition都有leader和follower；

（9）follower：每个分区多个副本中的“从”，实时从leader中同步数据，保持和leader数据的同步。leader发生故障时，某个follower会成为新的leader。

二 kafka安装

#解压下载好的安装包
tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/
#重命名
mv kafka_2.11-2.4.1/ kafka
#配置环境变量
sudo vim /etc/profile.d/my_env.sh
#使环境变量生效
source /etc/profile
#添加以下内容
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
#进入config目录，配置一些内容
broker.id=101
delete.topic.enable=true
log.dirs=/opt/module/kafka/logs
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181
#分发到其他服务器
xsync kafka
sudo xsync /etc/profile.d/my_env.sh
#修改其他服务器的id
vim /opt/module/kafka/config/server.properties
broker.id=102
broker.id=103
#在三台机器分别启动kafka
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
#jpsall查看是否全部启动成功
#或者netstat -nltp查看9092端口是否打开，监听
#或者zkCli.sh-->ls /brokers/ids 查看配置的三个节点是否在zookeeper注册成功

1 kafka命令行操作（用的不多）

#查看当前服务器中的所有topic
kafka-topic.sh --zookeeper --list hadoop101:2181 
#创建topic
kafka-topics.sh --zookeeper --create hadoop101:2181 --topic hello --partitions 2 --replication-factor 2

选项说明：

–topic 定义topic名

–replication-factor 定义副本数

–partitions 定义分区数

#查看hello的详细信息
kafka-topics.sh --zookeeper --describe hadoop101:2181 --topic hello
#删除topic
kafka-topics.sh --zookeeper --delete hadoop101:2181 --topic hello2

topic的元数据在zookeeper中存储

# 发送消息
kafka-console-producer.sh --broker-list hadoop101:9092 --topic hello
>aaa
>bbb
>ccc

数据存储在/opt/module/kafka/logs/hello-1目录下的.log文件中，想要取得数据，需要再启动一个消费者

# 消费数据（从当前位置）
kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic hello
# 消费数据（所有数据）
kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic hello --from-beginning

# 修改分区数
kafka-topics.sh --alter --zookeeper hadoop101:2181 --topic hello --partitions 3