记录java------对接 -----阿里kafka 教程
1.首先需要登录阿里云账号.注册账号密码https://www.aliyun.com/2.选择搜索kafaka3.选择购买4.选择你要买的类型5.确认协议,开通服务6.点击kafka控制台界面下面开始接入1.控制台找到vpc2.创建网络3.填入相应信息4.完成看到信息...
很高兴见到大家。 我们今天来进入java接入阿里kafka的教程
下面。举个栗子来说明具体的接入流程。
首先需要登录阿里云账号.
1.注册账号密码
https://www.aliyun.com/
2.选择搜索kafaka
3.选择购买
4.选择你要买的类型
5.确认协议,开通服务
6.点击kafka控制台界面
下面开始接入
1.控制台找到vpc
2.创建网络
3.填入相应信息
4.完成看到信息
5.回到控制台,单击部署
6.填写信息,在刚才的交换机页面找到
7.完成部署
8.选择授权
9.同意授权
10.将看到在待部署 (这里将再次点击部署.输入账号完成部署)
11.看到部署中
12.等待10-30分钟 到实例进入服务中状态.则开始创建Topic
13. 点击创建topic
14.创建topic
15.创建Consumer
16.创建group
现在正式接入java SDK收发消息
1.首先到topic管理页面测试消息是否可以发送成功
2.通过参考文档sdk的kafka的Demo库(此处附上网址。如有更新。请自行到阿里官网自行找到)
https://github.com/AliwareMQ/aliware-kafka-demos
3.
创建一个maven项目 (自行百度)
4.找到你刚才下载的kafka的demo库
5.打开你所使用的语言(自行按照6的提示分别放到到你的项目中,别忘记引入pom包)
demo
请根据购买的实例信息选择相应的demo验证。
├── README.md
├── beta
│ ├── README.md
│ ├── pom.xml
│ ├── run_consumer.sh
│ ├── run_producer.sh
│ └── src
├── vpc
│ ├── README.md
│ ├── pom.xml
│ ├── build.sh
│ └── src
└── vpc-ssl
├── README.md
├── pom.xml
├── run_consumer.sh
├── run_producer.sh
└── src
beta
公测实例使用demo,废弃。
vpc
商业化vpc实例使用默认接入点接入demo。
vpc-ssl
商业化公网实例使用ssl接入点接入demo。
6.(目录结构如下)
7.
配置参数指南
Run Demo
1. 安装软件:确保安装了 JDK 8+ 和 Maven 3.2.5+
2. 编写配置:按照本页下面的接入说明配置src/main/resource/kafka.properties,然后修改kafka_client_jaas.conf中的用户名和密码
3. 发送消息:sh run_demo.sh producer
4. 消费消息:sh run_demo.sh consumer
Java SDK接入说明
1、Maven 依赖配置
//消息队列 Kafka服务端版本是0.10.0.0,客户端建议使用该版本
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.10.0.0</version>
</dependency>
<dependency>
2、SASL 配置
消息队列 Kafka利用SASL机制对客户端进行身份验证。
2.1 创建文本文件 kafka_client_jaas.conf
可以使用Demo库中的文件进行修改,用户名密码可在kafka控制台上的实例详情获取,内容形式如下:
KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="XXXXXXX"
password="XXXXXXX";
};
注意:把***替换为阿里云Kafka控制台实例详情页的用户名和密码。
2.2 设置 kafka_client_jaas.conf 的路径:
kafka_client_jaas.conf的路径是系统变量,有两种办法进行设置(这里假设 kafka_client_jaas.conf 放在/home/admin 下面,实际部署时请注意修改为自己的路径):
程序启动时,启动 JVM 参数:
-Djava.security.auth.login.config=/home/admin/kafka_client_jaas.conf
或者在代码中设置参数(需要保证在 Kafka Producer 和 Consumer 启动之前):
System.setProperty("java.security.auth.login.config", “/home/admin/kafka_client_jaas.conf");
3. SSL配置
下载根证书
下载地址
下载后放入某个目录下,其路径需要直接配置在代码中。
4.示例代码
4.1 准备配置文件kafka.properties,可以参考Demo中的进行修改
## 接入点,通过控制台获取
## 您在控制台获取的SSL接入点
bootstrap.servers=xxx:9093,xxx:9093,xxx:9093
## Topic,通过控制台创建
## 您在控制台创建的Topic
topic=alikafka-topic-demo
## Consumer Grouo,通过控制台创建
## 您在控制台创建的 Consumer Group
group.id=CID-consumer-group-demo
## ssl 根证书的路径,demo中有,请拷贝到自己的某个目录下,不能被打包到jar中
## 这里假设您的目录为/home/admin,请记得修改为自己的实际目录
ssl.truststore.location=/home/admin/kafka.client.truststore.jks
## sasl路径,demo中有,请拷贝到自己的某个目录下,不能被打包到jar中
## 这里假设您的目录为/home/admin,请记得修改为自己的实际目录
## 控制台实例详情获取用户名密码
java.security.auth.login.config=/home/admin/kafka_client_jaas.conf
4.2 加载配置文件
见 JavaKafkaConfigurer
4.3 发送消息
见 KafkaProducerDemo
4.4 消费消息
见 KafkaConsumerDemo
8.详细步骤:
8.1 配置conf文件
获取位置
8.2 配置kafka.properties
第一项接入点获取位置
测试开始
1.首先运行消息发送demo
2.运行消息消费demo
8.回到topic页面查看消费情况
9.查看具体的消息内容
致此 。完成java接入kafka的Demo
更多推荐
所有评论(0)