kafka 3.x 学习笔记

在 kafka 2.8.0 版本之前，安装使用 kafka 需要配套安装 zookeeper，但在 2.8.0 版本之后，不再需要安装 zookeeper，本次学习笔记采用的 kafka 版本为 3.0.0。

一、kafka 定义

1 什么是 kafka？

• 传统定义：kafka 是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

  • 发布/订阅：消息的发布者不会将消息发给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。

• kafka 是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

2 消息队列

市面上常见的消息队列产品主要有 kafka、ActiveMQ、RabbitMQ、RocketMQ 等。在大数据领域主要采用 kafka 作为消息队列，在 java web开发中主要采用 ActiveMQ、RabbitMQ、RoketMQ。

3 消息队列应用场景

• 缓冲/消峰：尤其是特定环境下大量的并发请求，后端接口不能在短时间承受这些大量的接口，因此采用消息队列做缓冲处理。
  
  
  

• 异步解耦：举例一个通俗易懂的案例：现在的很多平台都提供了借钱的入口，比如美团，我猜测美团后台的逻辑大致应该是这样的：

  • 1、首先用户提交个人信息；

  • 2、美团后端接收到用户信息后，进行借款额度判断：

    比如调用法院官网，查看此人是不是老赖；
    调用银行的征信系统，查看此人征信是否良好等等；
    调用政府相关部门官网，查看此人是否有房产车产等等。
    调用完毕后，得出一个初始的可款额度。

  • 3、将用户存入借款用户表；

  • 4、调用第三方短信服务，向用户发送借款额度的通知短信；

  • 5、美团 app 向用户展示可借款金额，然后向用户确认是否借款，如借款则向用户银行卡转账。

举例的这个小案例，只是本人的猜测，如果这些步骤采用同步的方式设计的话，显然很不友好，采用异步不仅能解耦，也能加快后端服务的响应速度。

4 消息队列的两种模式

• 点对点模式：消费者主动拉取数据，消息收到后清楚消息。
• 发布/订阅模式：可以有多个 topic 主题，消费者获取自己对应的 topic，消费者消费数据之后，不删除数据，并且消费者之间相互独立。

5 kafka 基础架构

但是对于每个 topic，数据量太大的时候为提高吞吐量，可以将 topic 进行分而治之：

二、Centos 7 安装 kafka

kafka 官方地址：http://kafka.apache.org/downloads.html

1 在官网下载安装包后上传至服务器，进行解压安装：

tar -zxvf kafka_2.12-3.0.0.tgz

2 把 kafka_2.12-3.0.0 重命名：kafka

mv kafka_2.12-3.0.0 kafka

3 启动 kafka

bin/kafka-server-start.sh -daemon config/server.properties
// 查看是否启动成功
jps 

三、kafka 命令操作

• 操作 topic 相关命令

1 查看 topic 相关命令

bin/kafka-topics.sh

2 常用命令

参数	描述
–bootstrap-server <String:ser toconnece to>	连接的 Kafka Broker 主机名称和端口号
–topic <String: topic>	操作的 topic 名称
–create	创建主题
–delete	删除主题
–alter	修改主题
–list	查看所有主题
–describe	查看主题详细描述
–partitions <Integer: # of partitions>	设置分区数
–replication-factor<Integer: replication factor>	设置分区副本
–config String:name=value	更新系统默认的配置

在使用命令之前，先搭建hadoop的集群环境，这里我就在我的另一台腾讯云服务器上安装hadoop。

hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

这里我下载的是3.1.3的版本。

3 另一台服务器安装hadoop

// 我的默认安装路径为: /usr/local/src/
tar -zxvf hadoop-3.1.3.tar.gz

4 配置hadoop的环境变量

此处踩坑记录：千万不能直接在/etc/profile文件里配置 hadoop，会导致服务器其他指令全部失效。百度了一番网上的建议是自建一个文件进行配置：vim /etc/profile.d/my_env.sh，在该文件中进行 hadoop 的环境配置即可。

vim /etc/profile.d/my_env.sh

// hadoop环境变量
export HADOOP_HOME=/usr/local/src/hadoop-3.1.3
export PATH=${HADOOP_HOME}/bin
export PATH=${HADOOP_HOME}/sbin

修改过后保存退出，记得加载配置：

source /etc/profile