记一次生产KAFKA数据 清理策略的调整

在网上查了好多资料,都说kafak默认清理是7天,但实际生产环境数据一直在堆积,没有清理。
然后在本地搭建了kafka集群,各种配置策略全部尝试了一下,最终确定要达到清理效果,如下几个配置必须有:

##保留时间
log.retention.hours=72

##日志滚动的周期时间,到达指定周期时间时,强制生成一个新的segment
log.roll.hours=72

##Kafka的日志实际上是开始是在缓存中的,然后根据策略定期一批一批写入到日志文件中去,以提高吞吐率。
##消息达到多少条时将数据写入到日志文件	默认10000	
log.flush.interval.messages=5000


##日志清理保存的策略只有delete和compact两种,默认delete	
log.cleanup.polict=delete

##日志文件被真正删除前的保留时间,默认60000
log.segment.delete.delay.ms=60000

##每隔一段时间多久调用一次清理的步骤,默认10
log.cleanup.interval.mins=10

# topic删除要保证此属性为true
delete.topic.enable=true
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐