很高兴见到大家。 我们今天来进入java接入阿里kafka的教程
下面。举个栗子来说明具体的接入流程。

首先需要登录阿里云账号.
1.注册账号密码

https://www.aliyun.com/

在这里插入图片描述
2.选择搜索kafaka
在这里插入图片描述
3.选择购买在这里插入图片描述
4.选择你要买的类型
在这里插入图片描述
5.确认协议,开通服务
在这里插入图片描述
6.点击kafka控制台界面
在这里插入图片描述
下面开始接入
在这里插入图片描述
1.控制台找到vpc
在这里插入图片描述
2.创建网络
在这里插入图片描述
3.填入相应信息
在这里插入图片描述
4.完成看到信息

在这里插入图片描述
5.回到控制台,单击部署
在这里插入图片描述
6.填写信息,在刚才的交换机页面找到
在这里插入图片描述
在这里插入图片描述
7.完成部署
在这里插入图片描述
8.选择授权
在这里插入图片描述
9.同意授权
在这里插入图片描述
10.将看到在待部署 (这里将再次点击部署.输入账号完成部署)
在这里插入图片描述
11.看到部署中在这里插入图片描述
12.等待10-30分钟 到实例进入服务中状态.则开始创建Topic
在这里插入图片描述
13. 点击创建topic
在这里插入图片描述
14.创建topic
在这里插入图片描述
15.创建Consumer
在这里插入图片描述
16.创建group
在这里插入图片描述
现在正式接入java SDK收发消息
1.首先到topic管理页面测试消息是否可以发送成功
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.通过参考文档sdk的kafka的Demo库(此处附上网址。如有更新。请自行到阿里官网自行找到)

https://github.com/AliwareMQ/aliware-kafka-demos

在这里插入图片描述
3.
创建一个maven项目 (自行百度)
4.找到你刚才下载的kafka的demo库
在这里插入图片描述
5.打开你所使用的语言(自行按照6的提示分别放到到你的项目中,别忘记引入pom包)

demo

请根据购买的实例信息选择相应的demo验证。

    ├── README.md
    ├── beta
    │   ├── README.md
    │   ├── pom.xml
    │   ├── run_consumer.sh
    │   ├── run_producer.sh
    │   └── src
    ├── vpc
    │   ├── README.md
    │   ├── pom.xml
    │   ├── build.sh
    │   └── src
    └── vpc-ssl
        ├── README.md
        ├── pom.xml
        ├── run_consumer.sh
        ├── run_producer.sh
        └── src

beta

公测实例使用demo,废弃。

vpc

商业化vpc实例使用默认接入点接入demo。

vpc-ssl

商业化公网实例使用ssl接入点接入demo。



在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.(目录结构如下)
在这里插入图片描述
7.
配置参数指南

Run Demo

1. 安装软件:确保安装了 JDK 8+ 和 Maven 3.2.5+
2. 编写配置:按照本页下面的接入说明配置src/main/resource/kafka.properties,然后修改kafka_client_jaas.conf中的用户名和密码
3. 发送消息:sh run_demo.sh producer
4. 消费消息:sh run_demo.sh consumer

Java SDK接入说明

1、Maven 依赖配置

    //消息队列 Kafka服务端版本是0.10.0.0,客户端建议使用该版本
    <dependency>
           <groupId>org.apache.kafka</groupId>
           <artifactId>kafka-clients</artifactId>
           <version>0.10.0.0</version>
    </dependency>
    <dependency>

2、SASL 配置

消息队列 Kafka利用SASL机制对客户端进行身份验证。       

2.1 创建文本文件 kafka_client_jaas.conf

可以使用Demo库中的文件进行修改,用户名密码可在kafka控制台上的实例详情获取,内容形式如下:

    KafkaClient {
      org.apache.kafka.common.security.plain.PlainLoginModule required
      username="XXXXXXX"
      password="XXXXXXX";
    };

注意:把***替换为阿里云Kafka控制台实例详情页的用户名和密码。

2.2 设置 kafka_client_jaas.conf 的路径:

kafka_client_jaas.conf的路径是系统变量,有两种办法进行设置(这里假设 kafka_client_jaas.conf 放在/home/admin 下面,实际部署时请注意修改为自己的路径):

   程序启动时,启动 JVM 参数:

     -Djava.security.auth.login.config=/home/admin/kafka_client_jaas.conf

 或者在代码中设置参数(需要保证在 Kafka Producer 和 Consumer 启动之前):

     System.setProperty("java.security.auth.login.config", “/home/admin/kafka_client_jaas.conf");

3. SSL配置

下载根证书

下载地址

下载后放入某个目录下,其路径需要直接配置在代码中。

4.示例代码

4.1 准备配置文件kafka.properties,可以参考Demo中的进行修改

    ## 接入点,通过控制台获取
    ## 您在控制台获取的SSL接入点
    bootstrap.servers=xxx:9093,xxx:9093,xxx:9093
    
    ## Topic,通过控制台创建
    ## 您在控制台创建的Topic
    topic=alikafka-topic-demo
    
    ## Consumer Grouo,通过控制台创建
    ## 您在控制台创建的 Consumer Group
    group.id=CID-consumer-group-demo
    
    ## ssl 根证书的路径,demo中有,请拷贝到自己的某个目录下,不能被打包到jar中
    ## 这里假设您的目录为/home/admin,请记得修改为自己的实际目录
    ssl.truststore.location=/home/admin/kafka.client.truststore.jks
    
    ## sasl路径,demo中有,请拷贝到自己的某个目录下,不能被打包到jar中
    ## 这里假设您的目录为/home/admin,请记得修改为自己的实际目录
    ## 控制台实例详情获取用户名密码
    java.security.auth.login.config=/home/admin/kafka_client_jaas.conf

4.2 加载配置文件

    见 JavaKafkaConfigurer

4.3 发送消息

    见 KafkaProducerDemo

4.4 消费消息

    见 KafkaConsumerDemo



8.详细步骤:
8.1 配置conf文件
在这里插入图片描述
获取位置
在这里插入图片描述
8.2 配置kafka.properties
在这里插入图片描述
第一项接入点获取位置
在这里插入图片描述
在这里插入图片描述

测试开始
1.首先运行消息发送demo
在这里插入图片描述
在这里插入图片描述
2.运行消息消费demo
在这里插入图片描述
在这里插入图片描述
8.回到topic页面查看消费情况
在这里插入图片描述
9.查看具体的消息内容
在这里插入图片描述
致此 。完成java接入kafka的Demo

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐