简介

Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。

同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。

Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。

Kafka多数都是运行在分布式（集群化）模式下，所以课程将以3台服务器，来完成Kafka集群的安装部署。

安装

1. 确保已经跟随前面的视频，安装并部署了JDK和Zookeeper服务

   Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper

2. 【在ip1操作】下载并上传Kafka的安装包

   # 下载安装包
   wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

3. 【在ip1操作】解压

   mkdir -p /export/server         # 此文件夹如果不存在需先创建
   ​
   # 解压
   tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
   ​
   # 创建软链接
   ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

4. 【在ip1操作】修改Kafka目录内的config目录内的server.properties文件

   cd /export/server/kafka/config
   # 指定broker的id
   broker.id=1
   # 指定 kafka的绑定监听的地址
   listeners=PLAINTEXT://ip1:9092
   # 指定Kafka数据的位置
   log.dirs=/export/server/kafka/data
   # 指定Zookeeper的三个节点
   zookeeper.connect=ip1:2181,ip2:2181,ip3:2181

5. 【在ip1操作】将ip1的kafka复制到ip2和ip3

   cd /export/server
   ​
   # 复制到ip2同名文件夹
   scp -r kafka_2.12-2.4.1 ip2:`pwd`/
   # 复制到ip3同名文件夹
   scp -r kafka_2.12-2.4.1 ip3:$PWD

6. 【在ip2操作】

   # 创建软链接
   ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
   ​
   cd /export/server/kafka/config
   # 指定broker的id
   broker.id=2
   # 指定 kafka的绑定监听的地址
   listeners=PLAINTEXT://ip2:9092
   # 指定Kafka数据的位置
   log.dirs=/export/server/kafka/data
   # 指定Zookeeper的三个节点
   zookeeper.connect=ip1:2181,ip2:2181,ip3:2181

7. 【在ip3操作】

   # 创建软链接
   ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
   ​
   cd /export/server/kafka/config
   # 指定broker的id
   broker.id=3
   # 指定 kafka的绑定监听的地址
   listeners=PLAINTEXT://ip3:9092
   # 指定Kafka数据的位置
   log.dirs=/export/server/kafka/data
   # 指定Zookeeper的三个节点
   zookeeper.connect=ip1:2181,ip2:2181,ip3:2181

8. 启动kafka

   # 请先确保Zookeeper已经启动了
   ​
   # 方式1：【前台启动】分别在ip1、2、3上执行如下语句
   /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties
   ​
   # 方式2：【后台启动】分别在ip1、2、3上执行如下语句
   nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

9. 验证Kafka启动

   # 在每一台服务器执行
   jps

10. 

测试Kafka能否正常使用

1. 创建测试主题

# 在ip1执行，创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper ip1:2181 --replication-factor 1 --partitions 3 --topic test

1. 运行测试，请在FinalShell中打开2个ip1的终端页面

# 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list ip1:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server ip1:9092 --topic test --from-beginning

3.在数据生产者这边输入任意文本回车

4.在数据消费者这边接收到了信息