日志管理;
1、日志位置:同一放日志的磁盘,尽量在外置盘。
2、日志要有清理策略

kafka日志路径配置:
文件地址:bin/kafka-run-class.sh
新增配置项:LOG_DIR="/data/kafka/logs"

kafka日志清理策略:
1、修改日志输出级别:
 config/log4j.properties中日志的级别设置的是TRACE,生产改成INFO级别。
2、Kafka日志管理器
配置文件路径:config/server.properties
log.cleanup.policy=delete启用删除策略
直接删除,删除后的消息不可恢复。可配置以下两个策略:
清理超过指定时间清理: 
log.retention.hours=16
超过指定大小后,删除旧的消息:
log.retention.bytes=1073741824
3、压缩策略
 只保留每个key最后一个版本的数据。首先在broker的配置中设置log.cleaner.enable=true启用cleaner,这个默认是关闭的。
 在Topic的配置中设置log.cleanup.policy=compact启用压缩策略。
 

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐