Kafka集群安装部署
Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。Kafka多数都是运行在分布式(集群化)模式下,所以课程将以3台服务器,来完成Kafka集群的安装部署。
·
简介
Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式
的消息队列系统。
同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。
Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。
Kafka多数都是运行在分布式(集群化)模式下,所以课程将以3台服务器,来完成Kafka集群的安装部署。
安装
-
确保已经跟随前面的视频,安装并部署了JDK和Zookeeper服务
Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper
-
【在ip1操作】下载并上传Kafka的安装包
# 下载安装包 wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
-
【在ip1操作】解压
mkdir -p /export/server # 此文件夹如果不存在需先创建 # 解压 tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/ # 创建软链接 ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
-
【在ip1操作】修改Kafka目录内的config目录内的
server.properties
文件cd /export/server/kafka/config # 指定broker的id broker.id=1 # 指定 kafka的绑定监听的地址 listeners=PLAINTEXT://ip1:9092 # 指定Kafka数据的位置 log.dirs=/export/server/kafka/data # 指定Zookeeper的三个节点 zookeeper.connect=ip1:2181,ip2:2181,ip3:2181
-
【在ip1操作】将ip1的kafka复制到ip2和ip3
cd /export/server # 复制到ip2同名文件夹 scp -r kafka_2.12-2.4.1 ip2:`pwd`/ # 复制到ip3同名文件夹 scp -r kafka_2.12-2.4.1 ip3:$PWD
-
【在ip2操作】
# 创建软链接 ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka cd /export/server/kafka/config # 指定broker的id broker.id=2 # 指定 kafka的绑定监听的地址 listeners=PLAINTEXT://ip2:9092 # 指定Kafka数据的位置 log.dirs=/export/server/kafka/data # 指定Zookeeper的三个节点 zookeeper.connect=ip1:2181,ip2:2181,ip3:2181
-
【在ip3操作】
# 创建软链接 ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka cd /export/server/kafka/config # 指定broker的id broker.id=3 # 指定 kafka的绑定监听的地址 listeners=PLAINTEXT://ip3:9092 # 指定Kafka数据的位置 log.dirs=/export/server/kafka/data # 指定Zookeeper的三个节点 zookeeper.connect=ip1:2181,ip2:2181,ip3:2181
-
启动kafka
# 请先确保Zookeeper已经启动了 # 方式1:【前台启动】分别在ip1、2、3上执行如下语句 /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties # 方式2:【后台启动】分别在ip1、2、3上执行如下语句 nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &
-
验证Kafka启动
# 在每一台服务器执行 jps
测试Kafka能否正常使用
-
创建测试主题
# 在ip1执行,创建一个主题 /export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper ip1:2181 --replication-factor 1 --partitions 3 --topic test
-
运行测试,请在FinalShell中打开2个ip1的终端页面
# 打开一个终端页面,启动一个模拟的数据生产者 /export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list ip1:9092 --topic test # 再打开一个新的终端页面,在启动一个模拟的数据消费者 /export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server ip1:9092 --topic test --from-beginning
3.在数据生产者这边输入任意文本回车
4.在数据消费者这边接收到了信息
更多推荐
已为社区贡献2条内容
所有评论(0)