集群中创建主题

bin/kafka-topics.sh --create --zookeeper 192.168.0.130:2181,192.168.0.131:2181,192.168.0.132:2181 --replication-factor 3 --partitions 3 --topic topicTest

集群中查看主题

bin/kafka-topics.sh --list --zookeeper 192.168.0.130:2181,192.168.0.131:2181,192.168.0.132:2181

生产者

bin/kafka-console-producer.sh --broker-list 192.168.0.130:9092,192.168.0.131:9092,192.168.0.132:9092 --topic topicTest

消费者

bin/kafka-console-consumer.sh --bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic topicTest

表示从 latest 位移位置开始消费该主题的所有分区消息,即仅消费正在写入的消息。

从开始位置消费

bin/kafka-console-consumer.sh --bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092 --from-beginning --topic topicTest

表示从指定主题中有效的起始位移位置开始消费所有分区的消息。

显示key消费

bin/kafka-console-consumer.sh --bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092 --property print.key=true --topic topicTest

消费出的消息结果将打印出消息体的 key 和 value。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐