kafka学习（二）kafka安装与命令行调用

文章更新时间：2021/10/28一、安装JDK　　过程就不过多介绍了...二、安装Zookeeper安装过程可以参考此处~三、安装并配置kafka下载kafkaKafka下载地址：http://kafka.apache.org/downloads解压文件修改配置文件一些主要的配置信息登录后复制#1、broker实例...

殷玮

119人浏览 · 2024-07-29 02:42:43

殷玮 · 2024-07-29 02:42:43 发布

文章更新时间：2021/10/28

一、安装JDK

　　过程就不过多介绍了...

二、安装Zookeeper

安装过程可以参考此处~

三、安装并配置kafka

下载kafka

Kafka下载地址： http://kafka.apache.org/downloads

解压文件

kafka学习（二）kafka安装与命令行调用_kafka

修改配置文件

kafka学习（二）kafka安装与命令行调用_zookeeper_02

一些主要的配置信息

#1、broker实例id 这个是kafka集群区分每个节点的唯一标志符
broker.id=0

#2、监听的端口号
listeners=PLAINTEXT://:9092

#3、消息的存放路径
log.dirs=G:\kafka\kafka_2.11-2.4.1\logs

#4、kafka消息的保留时间，默认为7天即168小时【单位为：小时】
log.retention.hours=168

#5、log文件存放着msg，这里设置的是log文件的最大大小，默认最大为1个G【单位为：byte】
log.segment.bytes=1073741824

#6、kafka链接的zk地址
zookeeper.connect=localhost:2181

#7、kafka链接的超时时间
zookeeper.connection.timeout.ms=6000

#8、默认的分区数量
num.partitions=1

四、启动并测试kafka【以windows操作示例】

启动ZK

kafka学习（二）kafka安装与命令行调用_命令行_03

启动kafka

kafka学习（二）kafka安装与命令行调用_kafka_04

创建topic

再次进入kafka的bat脚本目录，输入cmd打开命令行窗口，输入以下命令，创建kafka的消息topics【topic名为zhTest】

##表示创建一个名为zhTest的Topic，分区为1，副本也为1
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zhTest

replication-factor：表示在不同的broker中保存几份副本。

　　partitions：表示分区数。设置为1表示该topic（同一个brocker上）存在有多少个分区。PS：每个分区的数据是不重复的，用于提高吞吐量。

查看topic

kafka-topics.bat --list --zookeeper localhost:2181  ##查看localhost:2181上存在的topic信息

启动生产者

　　再次进入kafka的bat脚本目录，输入cmd打开命令行窗口，输入以下命令，创建Producer：

##此命令为修改命令行窗口的名称，此命令可不执行，直接执行下面的命令去启动生产者
title producer

##此命令为启动生产者，向zhTest这个Topic生产消息
kafka-console-producer.bat --broker-list localhost:9092 --topic zhTest

　　可在窗口中输入消息内容：

kafka学习（二）kafka安装与命令行调用_kafka_05

启动消费者

　　再次进入kafka的bat脚本目录，输入cmd打开命令行窗口，输入以下命令，创建consumer：

##此命令为修改命令行窗口的名称，此命令可不执行，直接执行下面的命令去启动消费者
title consumer
##--from-beginning参数表示从开头开始消费消息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic zhTest --from-beginning

　　可在窗口中输出消息内容：

kafka学习（二）kafka安装与命令行调用_命令行_06

　　PS：某些博文里会推荐使用

　　这个命令来启动消费者，这里说明一下，低版本的kafka是用这个命令来启动消费者并进行消息消费的，由于本文使用的kafka版本较高，所以才用的上面那个命令行进行消费者启动，并消费信息。

原创作者: u_16922440 转载于: https://blog.51cto.com/u_16922440/11585578

Kafka开源项目指南

Kafka开源项目指南提供详尽教程，助开发者掌握其架构、配置和使用，实现高效数据流管理和实时处理。它高性能、可扩展，适合日志收集和实时数据处理，通过持久化保障数据安全，是企业大数据生态系统的核心。

更多推荐

zookeeper+kafka群集

Kafka开源项目指南

zookeeper+kafka+ELK+filebeat集群

Kafka开源项目指南

lua-resty-kafka 使用及安装教程

lua-resty-kafka 使用及安装教程lua-resty-kafkaLua kafka client driver for the Openresty based on the cosocket API项目地址:https://gitcode.com/gh_mirrors/lu/lua-resty-kafka 1. 项目目录结构及介绍lua-resty-kafka 的目录结构如下：...