启动Kafka

按前一篇文章大数据环境搭建之Kafka完全分布式环境搭建步骤详解https://blog.csdn.net/weixin_42628594/article/details/85221458) 搭建好分布式环境后,可以开始kafka基本操作。
先启动各个机器上的Zookeeper:

cd /opt/zookeeper-3.4.12/bin
./zkServer.sh start

再启动各个机器上的Kafka:

cd /opt/kafka_2.11-1.1.0/bin
./kafka-server-start.sh ../config/server.properties

创建Topic(kafka-topics.sh --create)

新启动一个窗口

cd /opt/kafka_2.11-1.1.0/
./bin/kafka-topics.sh  --create --zookeeper bigdata:2181 --topic firsttopic --partitions 3 --replication-factor 2

提示成功:
Created topic “firsttopic”.

启动生产者(kafka-console-producer.sh)

./bin/kafka-console-producer.sh --topic firsttopic --broker-list bigdata01:9092

启动消费者(kafka-console-consumer.sh)

再启动一个窗口,作为消费者

./bin/kafka-console-consumer.sh --bootstrap-server bigdata01:9092 --topic firsttopic

发送消息

在生产者窗口输入三行消息
>hello
>my first
>kafka topic
每输入一条消息,消费者窗口会显示出生产者的消息
hello
my first
kafka topic

发送完成后Control+C退出。

查看Topic情况describe

列出所有的topic - - list

./bin/kafka-topics.sh --zookeeper bigdata01:2181 --list

会显示
__consumer_offsets
firsttopic

描述一个topic情况 - -describe

./bin/kafka-topics.sh  --describe --zookeeper bigdata01:2181 --topic firsttopic

会显示
Topic:firsttopic PartitionCount:3 ReplicationFactor:2 Configs:
Topic: firsttopic Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2
Topic: firsttopic Partition: 1 Leader: 2 Replicas: 2,0 Isr: 2,0
Topic: firsttopic Partition: 2 Leader: 0 Replicas: 0,1 Isr: 0,1

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐