磁盘爆满后,cd /data/kafka_log/

du -sh *|grep 'G'查看发现dbaudit的topic占用很多,所以通过以下命令进行数据清理。

# 设置删除超过24小时数据清除
./bin/kafka-configs.sh --zookeeper 10.35.16.252:2181 --alter --entity-name dbaudit --entity-type topics --add-config retention.ms=86400000
# 如果一天磁盘仍然不够,设置删除超过12小时数据清除
./bin/kafka-configs.sh --zookeeper 10.35.16.252:2181 --alter --entity-name dbaudit --entity-type topics --add-config retention.ms=43200000
# 立即执行清除策略
bin/kafka-topics.sh --zookeeper 10.35.16.252:2181 --alter --topic dbaudit --config cleanup.policy=delete
# 查看详情
bin/kafka-topics.sh --zookeeper 10.35.16.252:2181 --topic dbaudit --describe 
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐