一、安装jdk


yum install java-1.8.0-openjdk* -y
java -version

在这里插入图片描述

二、安装zookeeper

wget https://downloads.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz
cd  apache-zookeeper-3.5.9-bin
cp conf/zoo_sample.cfg conf/zoo.cfg

启动命令

bin/zkServer.sh start
bin/zkCli.sh 
ls /			#查看zk的根目录相关节点

三、安装kafka及常用命令操作

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz 
tar -xzf kafka_2.11-2.4.1.tgz
cd kafka_2.11-2.4.1

修改配置

vim config/server.properties:

broker.id=0  #broker.id属性在kafka集群中必须要是唯一
listeners=PLAINTEXT://192.168.65.65:9092   #kafka部署的机器ip和提供服务的端口号
log.dir=/data/kafka-logs #kafka的消息存储文件
zookeeper.connect=192.168.65.65:2181 #kafka连接zookeeper的地址

启动kafka

1、后台启动,不会打印日志到控制台
   #后台启动,

2、打印日志到控制台
bin/kafka-server-start.sh config/server.properties &

ps -ef |grep kafka  # 查看是否启动成功

启动成功后查看是否注册到zookeeper

bin/zkCli.sh 
ls /		#查看zk的根目录kafka相关节点
ls /brokers/ids	#查看kafka节点

在这里插入图片描述
停止kafka

bin/kafka-server-stop.sh

常用操作:
1、创建主题
当producer发布一个消息到某个指定的Topic,这个Topic如果不存在,就自动创建。当然我们也可使用命令创建。
现在创建一个名字为“test”的Topic,这个topic只有一个partition,并且备份因子也设置为1:

bin/kafka-topics.sh --create --zookeeper 192.168.65.65:2181 --replication-factor 1 --partitions 1 --topic test

2、查看kafka中目前存在的topic

bin/kafka-topics.sh --list --zookeeper 192.168.65.65:2181

3、删除主题
bin/kafka-topics.sh --delete --topic test --zookeeper 192.168.65.65:2181
4、发送消息

bin/kafka-console-producer.sh --broker-list 192.168.65.65:9092 --topic test 
>hello 86
>hello 86 go

5、消费消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.65:9092 --topic test   
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐