=============================================================================
启动命令：
cd ${KAFKA_HOME}
bin/kafka-server-start.sh config/server.properties >> kafka_logs/kafka_log 2>&1 &
=============================================================================
停止命令
cd ${KAFKA_HOME}
bin/kafka-server-stop.sh config/server.properties >> kafka_logs/kafka_log 2>&1 &
=============================================================================
查看当前服务器中的所有topic
cd ${KAFKA_HOME}
bin/kafka-topics.sh --list --zookeeper  BDI5:2181,BDI6:2181,BDI7:2181
=============================================================================
创建topic
cd ${KAFKA_HOME}
bin/kafka-topics.sh --create --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --replication-factor 3 --partitions 5 --topic topic_name
=============================================================================
删除topic
cd ${KAFKA_HOME}
bin/kafka-topics.sh --delete --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --topic topic_name
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
=============================================================================
通过shell命令发送消息
cd ${KAFKA_HOME}
bin/kafka-console-producer.sh --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --topic ETE_SERV_8110000_TEST
=============================================================================
通过shell消费消息，直连
cd ${KAFKA_HOME}
bin/kafka-console-consumer.sh --bootstrap-server 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --topic ETE_SERV_8110000 --from-beginning
=============================================================================
8. 获取指定consumer group的位移信息 
bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 55 --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

=============================================================================
通过zookeeper
cd ${KAFKA_HOME}
bin/kafka-console-consumer.sh --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --from-beginning --topic ETE_SERV_8110000_TEST
=============================================================================
查看某个Topic的详情
cd ${KAFKA_HOME}
bin/kafka-topics.sh --topic ETE_SERV_8110000_TEST --describe --zookeeper BDI5:2181,BDI6:2181,BDI7:2181
=============================================================================
查看数据消费情况
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --group spark-streaming

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group dktus --topic ETE_SERV_8110000  --zookeeper BDI5:2181,BDI6:2181,BDI7:2181/highkafka

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --group logstash

bin/kafka-consumer-groups.sh --bootstrap-server BDI10:9093 --describe --group dktus
=============================================================================
GROUP     TOPIC     PID       OFFSET             LOGSIZE   LAG
消费者组  话题id    分区id    当前已消费的条数   总条数    未消费的条数
=============================================================================
查看最大的offset
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic ETE_SERV_8110000 --time -1 --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092
=============================================================================
通过zookeeper监控kafka集群存活情况
cd ${ZK_HOME}
bin/zkCli.sh
查看broker存活节点： ls /brokers/ids
查看kafka的topics： ls /brokers/topics
=============================================================================
压力测试
bin/kafka-producer-perf-test.sh --topic test11 --num-records 10000000 --record-size 1000 --throughput 10000000 --producer-props bootstrap.servers=10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 batch-size=200 compression-codec=1
=============================================================================
修改topic分区，只能增加分区
bin/kafka-topics.sh --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --alter --topic sgn_data --partitions 10

Logo
Kafka开源项目指南

Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。

更多推荐

Kafka入门（一） 概述、部署与API的简单使用

Kafka概述、部署与API的简单使用

avatar Kafka开源项目指南

基于canal和kafka同步，实现binlog同步ElasticSearch

文章目录前言elasticsearch 安装canal安装canal-adapter 安装及配置mysql 安装zk及kafaka安装查看效果注意事项前言中间件版本elasticsearch7.5.2canal1.1.4client-adapter1.1.5-alpha-1zookeeper3.4.13kafka2.6.0mysql5.7.31elasticsearch 安装{"settings"

avatar Kafka开源项目指南

基于 Iceberg 的湖仓一体架构在 B 站的实践

背景在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，如何高效低成本地满足下游数据的分析需求，一直是我们重点的工作方向。我们之前的数据处理流程基本上是这样的：采集端将客户端埋点、服务端埋点、日志、业务数据库等数据收集到HDFS、Kafka等存储系统中，然后通过Hive、Spark、Fl...

avatar Kafka开源项目指南