一、下载 

到kafka的官网,去下载想用的kafka包:http://kafka.apache.org/downloads

我这里下载的是:kafka_2.12-3.4.1.tgz

再将安装包传送到服务器并解压

#上传
rz
#解压
tar -zxvf kafka-3.4.1-src.tgz /opt/
#改文件名字
mv kafka-3.4.1-src kafka-3.4.1

#安装位置
opt/kafka

二、配置kafka

1.在kafka解压目录同一路径下:创建一个kafka_data,用于装kafka和zookeeper的log和数据啥的
mkdir -p /opt/kafka/soft/kafka_data
mkdir -p /opt/kafka/soft/kafka_data/zookeeper  #zookeeper数据目录
mkdir -p /opt/kafka/soft/kafka_data/log 
mkdir -p /opt/kafka/soft/kafka_data/log/kafka  #kafka日志
mkdir -p /opt/kafka/soft/kafka_data/log/zookeeper  #zookeeper日志
2.配置kafka服务
cd /opt/kafka/kafka-3.4.1/config/
vim server.properties 编辑修改相应的参数,内容改动和添加如下:

broker.id=0
port=9092                                                #端口号
host.name=localhost                      #服务器IP地址,修改为自己的服务器IP
log.dirs=/opt/kafka/soft/kafka_data/log/kafka   #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181         #zookeeper地址和端口,单机配置部署,localhost:2181
 3.配置zookeeper服务 
cd /opt/kafka/kafka-3.4.1/config/
vim zookeeper.properties 编辑修改相应的参数,内容改动和添加如下:

dataDir=/opt/kafka/soft/kafka_data/zookeeper   #zookeeper数据目录
dataLogDir=/opt/kafka/soft/kafka_data/log/zookeeper #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5 

三、创建启动和关闭的 kafka 执行脚本

1. 创建启动脚本  
vim kafka_start.sh
#-------脚本开始---------
#!/bin/sh
#启动zookeeper
/opt/kafka/kafka-3.4.1/bin/zookeeper-server-start.sh /opt/kafka/kafka-3.4.1/config/zookeeper.properties &

 
sleep 3 #等3秒后执行
 
#启动kafka
/opt/kafka/kafka-3.4.1/bin/kafka-server-start.sh /opt/kafka/kafka-3.4.1/config/server.properties &
#-------脚本结束---------
2. 创建关闭脚本
vim kafka_stop.sh
#-------脚本开始---------
#!/bin/sh
#关闭zookeeper
/opt/kafka/kafka-3.4.1/bin/zookeeper-server-stop.sh /opt/kafka/kafka-3.4.1/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#关闭kafka
/opt/kafka/kafka-3.4.1/bin/kafka-server-stop.sh /opt/kafka/kafka-3.4.1/config/server.properties &
#-------脚本结束---------
3. 为脚本执行权限
chmod +x kafka_start.sh
4. 启动和关闭kafka
cd /opt/kafka
sh kafka_start.sh #启动kafka
sh kafka_stop.sh #关闭kafka
5.设置开机自启动在后台运行脚本
vi /etc/rc.d/rc.local #编辑,在最后添加一行
sh /opt/kafka/kafka_start.sh &

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐