kafka 清理策略配置
记一次生产KAFKA数据 清理策略的调整在网上查了好多资料,都说kafak默认清理是7天,但实际生产环境数据一直在堆积,没有清理。然后在本地搭建了kafka集群,各种配置策略全部尝试了一下,最终确定要达到清理效果,如下几个配置必须有:##保留时间log.retention.hours=72##日志滚动的周期时间,到达指定周期时间时,强制生成一个新的segmentlog.roll.hours=72#
·
记一次生产KAFKA数据 清理策略的调整
在网上查了好多资料,都说kafak默认清理是7天,但实际生产环境数据一直在堆积,没有清理。
然后在本地搭建了kafka集群,各种配置策略全部尝试了一下,最终确定要达到清理效果,如下几个配置必须有:
##保留时间
log.retention.hours=72
##日志滚动的周期时间,到达指定周期时间时,强制生成一个新的segment
log.roll.hours=72
##Kafka的日志实际上是开始是在缓存中的,然后根据策略定期一批一批写入到日志文件中去,以提高吞吐率。
##消息达到多少条时将数据写入到日志文件 默认10000
log.flush.interval.messages=5000
##日志清理保存的策略只有delete和compact两种,默认delete
log.cleanup.polict=delete
##日志文件被真正删除前的保留时间,默认60000
log.segment.delete.delay.ms=60000
##每隔一段时间多久调用一次清理的步骤,默认10
log.cleanup.interval.mins=10
# topic删除要保证此属性为true
delete.topic.enable=true
更多推荐
已为社区贡献2条内容
所有评论(0)