kafka全部数据清空与某一topic数据清空

某一topic数据清空
查看当前所有topic

bin/kafka-topics.sh --list --zookeeper 12.23.109.50:31001

比如目前需要删除test这一topic,目前kafka_2.11-1.1.1以上版本默认delete.topic.enable=true,即是说使用命令

./kafka-topics.sh --zookeeper node1:2181 --delete --topic test

该命令将会在zookeeper中删除与test这一topic相关的znode节点(包括test详细信息、生产数据、消费数据的节点),并在kafka的存储目录/opt/data/kafka/kafka-logs/下把与test这一topic相关的存储数据目录标记为待删除,稍后会真正删除这些待删除的目录,如下:

使用kafka-topics.sh查看test在zookeeper中相关znode节点信息是否已被删除
在/opt/data/kafka/kafka-logs目录下查看test相关存储目录是否被标记删除

在/opt/data/kafka/kafka-logs目录下查看test相关存储目录已被删除

创建topic

bin/kafka-topics.sh --create --zookeeper 22.22.11.11:31001 --replication-factor 1 --partitions 10 --topic test

测试
开俩个窗口,一个启动生产者

bin/kafka-console-producer.sh --broker-list 22.22.11.11:31002 --topic test

一个启动消费者

bin/kafka-console-consumer.sh --bootstrap-server 22.22.11.11:31002 --topic test

生产造数据,消费者能取到最新数据

总结

删除之前停止投递到生产端,消费端也停止;

删除topic后重新创建topic,

开启消费端,开启生产端;验证

kafka全部数据清空

删除多个topic;重复以上操作

附docker 中找到对应的kafka

docker ps 列出运行中的容器
docker exec -it 8784c732b648 /bin/bash 进入docker容器

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐