Kafka集群新增数据及日志文件路径
Kafka集群的主题数据扩容修改config/server.properties文件在原属性后增加新的路径,范例如下:修改数据日志保留策略还是config/server.properties文件具体保留数量根据现场磁盘空间和行方磁盘告警要求进行调整。二、移动kafka的运行日志目录新目录准备在/home下新增kafka/logs目录修改kafka-run-class.sh文件
·
一、增加Kafka的主题数据目录
-
新目录准备
在/home下新增kafka/datalogs目录
mkdir -p /home/kafka/datalogs
其中kafka和datalogs的属组改为kafka
chown -R /home/kafka
chown -R /home/kafka/datalogs
-
修改config/server.properties文件
在原属性后增加新的路径,范例如下:
# 修改前
log.dirs=/opt/kafka_2.12-2.5.1/kafka-logs-1
# 修改后
log.dirs=/opt/kafka_2.12-2.5.1/kafka-logs-1,/home/kafka/datalogs
-
修改数据日志保留策略
还是config/server.properties文件
具体保留数量根据现场磁盘空间和行方磁盘告警要求进行调整。
#保留小时数(168h=7天)
log.retention.hours=168
#总保留字节(100G)
log.retention.bytes=107374182400
二、移动kafka的运行日志目录
-
新目录准备
在/home下新增kafka/logs目录
mkdir -p /home/kafka/logs
logs目录的属组改为kafka
chown -R /home/kafka/logs
- 修改kafka-run-class.sh文件
vim /opt/kafka_2.12-2.5.1/bin/kafka-run-class.sh
# Log directory to use
# 在上面注释的下一行增加
LOG_DIR=/home/kafka/logs
修改后的结果参考如下:
# Log directory to use
# 在上面注释的下一行增加
LOG_DIR=/home/kafka/logs
if [ "x$LOG_DIR" = "x" ]; then
LOG_DIR="$base_dir/logs"
fi
三、重启kafka服务
-
逐个重启kafka集群中的节点
每个节点重启后,等待当前节点稳定运行,一般3分钟左右。
su - kafka
# 如果echo ${KAFKA_HOME}不是kafka安装目录,请手动export KAFKA_HOME=【kafka安装目录】
sh ${KAFKA_HOME}/bin/kafka-server-stop.sh
# 等待几分钟
sh ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
-
全部重启完毕
观察/home/kafka/datalogs及logs目录下有无新增数据文件及日志文件。
更多推荐
已为社区贡献2条内容
所有评论(0)