kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。


下载地址:

Zookeeper下载地址:

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

Kafka下载地址:

https://archive.apache.org/dist/kafka/2.0.0/kafka_2.12-2.0.0.tgz


安装步骤

步骤一:安装jdk环境:
jdk安装很简单,可自行百度进行学习安装。
步骤二:下载并解压Zookeeper

Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper。

解压下载的文件zookeeper-3.4.13.tar.gz,并重命名解压后的文件为zookeeper3.4,复制到指定位置(此处以C:\zookeeper3.4为例)
文件目录

步骤三:配置Zookeeper

将c:\zookeeper3.4\conf下的zoo_sample.cfg文件更改为zoo.cfg;
打开“zoo.cfg”找到并编辑dataDir=c:\zookeeper3.4\tmp
注意此处配置的路径一定是“\\”而不是“\”,不然会启动后会报错并自动关闭服务。

步骤四:配置Zookeeper环境变量

我的电脑→右键选择属性→高级系统设置→环境变量:
在这里插入图片描述
选择新建系统环境变量
在这里插入图片描述
配置ZOOKEEPER_HOME:
在这里插入图片描述

在系统环境变量Path中,增加“%ZOOKEEPER_HOME%\bin;”,不能删除或者覆盖原Path的变量值。
在这里插入图片描述

步骤五:启动Zookeeper

打开dos窗口,输入命令:

$ zkServer

启动成功:
在这里插入图片描述
注意,在使用kafka 的时候,一定保持窗口不能关闭。

步骤六:下载并解压Kafka

解压下载的文件kafka_2.12-2.0.0.tgz,并重命名为kafka2.12,并复制到指定位置(此处以c:\kafka2.12为例)
文件目录

步骤七:配置Kafka

打开c:\kafka2.12\config\server.properties
编辑log.dirs=c:\kafka2.12\kafka-logs
编辑zookeeper.connect=localhost:2181

步骤八:启动Kafka

打开dos,输入命令:

$ cd c:\kafka2.12
$ .\bin\windows\kafka-server-start.bat .\config\server.properties

启动成功:
在这里插入图片描述

如果启动报错错误: 
      "找不到或无法加载主类 Files\Java\jdk1.8.0_192\lib\dt.jar;C:\Program"

则需要把c:\kafka2.12\bin\window\kafka-run-class.bat里的内容(约179行),
Set COMMAND= %JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %
也就是把 %CLASSPATH% 更改为”%CLASSPATH%”,增加了英文双引号

测试和使用

① 创建主题

打开dos窗口,输入如下命令(命令中zjdetopic 是自己命名的topic名称):

$ cd c:\kafka2.12
$ .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zjdetopic

注意不要关掉窗口
查看主题,输入命令:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

测试结果:
在这里插入图片描述

②测试生产者与消费者

打开dos窗口,输入命令:

$ cd c:\kafka2.12
$ .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic zjdevtest
$ zhangsan 

窗口不要关闭,新打开一个dos窗口,输入命令:

$ cd c:\kafka2.12
$ .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic zjdevtest --from-beginning

测试结果:
在这里插入图片描述

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐