1.在官网下载对应版本的kafka,并将压缩包上传到/usr/local目录下

https://kafka.apache.org/downloads

2.解压

tar -zxvf kafka_2.11-2.4.1.tgz

3.重命名

mv kafka_2.11-2.4.1 kafka

4.配置 kafka

cd /usr/local/kafka
vim config/server.properties

修改如下配置

#broker.id属性在kafka集群中必须要是唯⼀
broker.id=0
#kafka部署的机器ip和提供服务的端⼝号
listeners=PLAINTEXT://ip:9092 
#kafka的消息存储⽂件
log.dirs=/data/kafka/logs
#kafka连接zookeeper的地址
zookeeper.connect=ip:2181

5.启动
进入bin目录

cd /usr/local/kafka/bin

执⾏以下命令来启动kafka服务器(带着配置⽂件)

./kafka-server-start.sh -daemon ../config/server.properties

6.检验是否启动

ps aux|grep server.properties

将会显示与给配置文件绑定的线程信息
进⼊到zookeeper内查看是否有kafka的节点

cd /usr/local/zookeeper/bin

打开zookeeper的客户端

./zkCli.sh

查看broker信息

ls /brokers/ids/0

相关知识(ps:在安装目录的/bin目录下进行以下操作)
1、创建会话

./kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 1 --partitions 1 --topic test

2、查看当前zk中所有的topic

./kafka-topics.sh --list --zookeeper localhost:2181

3、发送消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

4.消费消息
⽅式⼀:从当前topic中的最后⼀条消息的offset(偏移量位置)+1开始消费

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

⽅式⼆:从当前topic中的第⼀条消息开始消费

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

5.删除topic

./kafka-topics.sh --delete --zookeeper localhost:2181 -topic test

6.查看topic详情

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

7.修改topic的分区数量

./kafka-topics.sh --alter  --zookeeper localhost:2181  --topic test  --partitions 5

8.创建多分区的topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic test1

9.查看消费组的详细信息

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐