准备好三台主机:
Node-131
Node-132
Node-133

下载解压:

从官网下载Kafka 安装包,解压安装:
tar zxvf kafka_xxx.tgz
mv kafka_xxx kafka
cd kafka

启动Zookeeper集群

zookeeper集群搭建参考之前的文章
http://blog.csdn.net/sunjiaminaini/article/details/77572758

Kafka集群搭建
修改配置文件
cd /opt/kafka/kafka_xxx/config/
vi server.config

主要修改节点:
broker.id=1 #当前机器在集群中的唯一标识不同集群 标识不一样

listeners=PLAINTEXT://node-131:9092 #监听端口 不同机器主机名不一样

advertised.listeners=PLAINTEXT://node-131:9092 #提供给生产者,消费者的端口号。可以不设置则使用listeners的值, 不同机器主机名不一样

zookeeper.connect= node-131:2181,node-132:2181,node-133:2181 #zookeeper集群地址

启动kafka集群并测试
在集群每个主机内执行:
调到bin目录
./kafka-server-start.sh -daemon ../config/server.properties

验证是否安装成功
任意一台主机创建一个topic
./kafka-topics.sh –create –zookeeper node-131:2181 –replication-factor 1 –partitions 1 –topic test
这里写图片描述
注意这里- -zookeeper 是两个中划线,csdn 编辑器显示出来成一条中划线了,后面–zookeeper, –replication-factor ,–partitions ,–topic都是如此,下面命令同样是两个中划线

在一台主机上启动消费者消费消息
./kafka-console-consumer.sh –zookeeper node-131:2181,node-132:2181,node-133:2181 –topic test
这里写图片描述

在另一一台主机上发布消息
./kafka-console-producer.sh –broker-list node-131:9092,node-132:9092,node-133:9092 –topic test
这里写图片描述
输入要发布的信息,并按回车。
将会看到消费者消费了消息。说明安装成功。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐