kafka默认数据过期时间是7天
可以通过设置全局变量来设置,但是要针对每一台kafka去设置,并且修改完需要重启kafka

log.retention.hours=72 (配置该参数即可)
log.cleanup.policy=delete
  bin/kafka-server-stop.sh
 bin/kafka-server-start.sh -daemon config/server.properties &

也可以针对某一个topic设置数据的过期时间,可以不需要重启kafka

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name testtopic --entity-type topics --add-config retention.ms=86400000

retention.ms=86400000 为一天,单位是毫秒。

查看设置

./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name testtopic --entity-type topics

Configs for topics:wordcounttopic are retention.ms=86400000

如果数据没有立即删除,执行下面

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic testtopic --config cleanup.policy=delete
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐