一、简介

        Apache Kafka是一个开源消息系统项目,由Scala写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。现在来实现一下部署到阿里云,并进行一些基本命令操作。

二、具体实现

1、官网下载kafka Binary包,这种包通过Scala 构建。可以直接启动。非这种包无法直接启动。我下载的是2.4.0版本。 地址:

Apache Kafka

2、通过scp命令上传下载的包到服务器

scp kafka_2.13-2.4.0.tgz root@bj0:/developer/

3、到达该目录解压

tar -zxvf kafka_2.13-2.4.0.tgz

4、到达解压目录,后台启动zookeeper

(1)daemon参数作用:守护进程,程序是一直运行的服务端程序,通常在系统后台运行,没有控制终端不与前台交互。

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

(2)启动以后,通过下面命令查看2181端口是否成功运行,zookeeper启动端口为2181。

netstat -tnlp | grep 2181

5、后台启动kafka

(1)同上,启动以后查看9092端口是否成功启动。

bin/kafka-server-start.sh -daemon config/server.properties

6、创建一个topic。

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

7、展示topic的细节

bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

8、输入下面命令启动消费者

bin/kafka-console-consumer.sh --topic quickstart-events --bootstrap-server localhost:9092

9、打开另外一个窗口,打开生产者控制台发送一下消息到我们的主题

(1)我的2.4.0版本的kafka用这个命令

bin/kafka-console-producer.sh --topic quickstart-events --broker-list localhost:9092

(2)假如使用的是3.0左右的版本使用这个命令

bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

 三、总结

        以上就是在阿里云部署kafka的全部过程和一些命令,在这里记录一下,希望能够帮到大家,觉得不错的话,欢迎微信搜索关注java基础笔记,后面会不断更新相关知识,大家一起进步。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐