一、增加Kafka的主题数据目录

  1. 新目录准备

    在/home下新增kafka/datalogs目录

mkdir -p /home/kafka/datalogs
其中kafka和datalogs的属组改为kafka
chown -R /home/kafka
chown -R /home/kafka/datalogs

  1. 修改config/server.properties文件

    在原属性后增加新的路径,范例如下:

# 修改前
log.dirs=/opt/kafka_2.12-2.5.1/kafka-logs-1
# 修改后
log.dirs=/opt/kafka_2.12-2.5.1/kafka-logs-1,/home/kafka/datalogs

  1. 修改数据日志保留策略

    还是config/server.properties文件

    具体保留数量根据现场磁盘空间和行方磁盘告警要求进行调整。

#保留小时数(168h=7天)
log.retention.hours=168
#总保留字节(100G)
log.retention.bytes=107374182400

二、移动kafka的运行日志目录

  1. 新目录准备

    在/home下新增kafka/logs目录

mkdir -p /home/kafka/logs
logs目录的属组改为kafka
chown -R /home/kafka/logs
  1. 修改kafka-run-class.sh文件
vim /opt/kafka_2.12-2.5.1/bin/kafka-run-class.sh
# Log directory to use
# 在上面注释的下一行增加
LOG_DIR=/home/kafka/logs

修改后的结果参考如下:
# Log directory to use
# 在上面注释的下一行增加
LOG_DIR=/home/kafka/logs
if [ "x$LOG_DIR" = "x" ]; then
  LOG_DIR="$base_dir/logs"
fi

三、重启kafka服务

  1. 逐个重启kafka集群中的节点

    每个节点重启后,等待当前节点稳定运行,一般3分钟左右。

su - kafka

# 如果echo ${KAFKA_HOME}不是kafka安装目录,请手动export KAFKA_HOME=【kafka安装目录】
sh ${KAFKA_HOME}/bin/kafka-server-stop.sh

# 等待几分钟
sh ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties


  1. 全部重启完毕

    观察/home/kafka/datalogs及logs目录下有无新增数据文件及日志文件。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐