目录

一、主题命令

二、生产者命令行操作

三、消费者命令行操作


kafka安装请看:http://t.csdn.cn/yjsMS


注意:

kafka版本:3.0.0

3.0.0的命令操作与3.0.0的命令不同。


一、主题命令

1.查看操作主题命令参数

bin/kafka-topics.sh

参数

描述

--bootstrap-server <String: server toconnect to>

连接的Kafka Broker主机名称和端口号。

--topic <String: topic>

操作的topic名称。

--create

创建主题。

--delete

删除主题。

--alter

修改主题。

--list

查看所有主题。

--describe

查看主题详细描述。

--partitions <Integer: # of partitions>

设置分区数。

--replication-factor<Integer: replication factor>

设置分区副本。

--config <String: name=value>

更新系统默认的配置。

2)查看当前服务器中的所有topic

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --list

例子:bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --list

3)创建first topic

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --create --partitions 1 --replication-factor 3 --topic topic_name

例子:bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --create --partitions 1 --replication-factor 3 --topic first

选项说明:

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

4)查看first主题的详情

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --describe --topic topic_name

例子:[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --describe --topic first

5)修改分区数(注意:分区数只能增加,不能减少)

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --alter --topic topic_name --partitions 3

例子:[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --alter --topic first --partitions 3

6)再次查看first主题的详情

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --describe --topic topic_name

例子:[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --describe --topic first

7)删除topic

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --delete --topic topic_name

例子:[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --delete --topic first

二、生产者命令行操作

bin/kafka-console-producer.sh

参数

描述

--bootstrap-server <String: server toconnect to>

连接的Kafka Broker主机名称和端口号。

--topic <String: topic>

操作的topic名称。

2)发送消息

[root@liuyizhao01 kafka]# bin/kafka-console-producer.sh --bootstrap-server 192.168.xx.xxx:9092 --topic topic_name

例子:[root@liuyizhao01 kafka]# bin/kafka-console-producer.sh --bootstrap-server liuyizhao01:9092 --topic first

三、消费者命令行操作

 bin/kafka-console-consumer.sh

参数

描述

--bootstrap-server <String: server toconnect to>

连接的Kafka Broker主机名称和端口号。

--topic <String: topic>

操作的topic名称。

--from-beginning

从头开始消费。

--group <String: consumer group id>

指定消费者组名称。

1)消费first主题中的数据。

[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.xx.xxx:9092 --topic topic_name

例子:[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server liuyizhao01 :9092 --topic first

2把主题中所有的数据都读取出来(包括历史数据)。

[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.xx.xxx:9092 --from-beginning --topic topic_name

例子:[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server liuyizhao01 :9092 --from-beginning --topic first

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐