1、环境介绍
操作系统:centos 7.9
jdk版本:11.0.12
kafka版本:2.8.0
Debezium版本:1.6
Debezium兼容性列表:
在这里插入图片描述
Debezium数据库插件下载地址:
https://debezium.io/documentation/reference/1.6/install.html
在这里插入图片描述
2、架构
在这里插入图片描述
注意:Debezium部署依赖kafka connector,需要提前完成zookeeper集群安装,kafka集群部署,kafka connector部署
数据库(作为数据源)也要提前部署

3、安装jdk
参考:
https://blog.csdn.net/zyj81092211/article/details/118055068

4、安装zookeeper集群
参考:
https://blog.csdn.net/zyj81092211/article/details/118066724

5、安装kafka集群
注意:应为debezium 需要java 11,请替换kafka集群中的jdk
参考:
https://blog.csdn.net/zyj81092211/article/details/119326105

6、安装kafka connector
https://blog.csdn.net/zyj81092211/article/details/119647591

7、上传并解压debezium数据库插件到扩展插件目录
注:经常使用的数据库,其他请另行下载,插件目录为kafka connector配置文件中中的plugin.path
更改plugin.path配置如下:

plugin.path=/data/kafka-connect/plugins,/data/kafka-connect/plugins/debezium-connector-mysql,/data/kafka-connect/plugins/debezium-connector-mongodb/*,/data/kafka-connect/plugins/debezium-connector-oracle,/data/kafka-connect/plugins/debezium-connector-postgres,/data/kafka-connect/plugins/debezium-connector-sqlserver

另:mongodb插件目录需配置成这样:data/kafka-connect/plugins/debezium-connector-mongodb/*
要不一直报错,找不到类

在这里插入图片描述

tar -xvf debezium-connector-mysql-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-oracle-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-postgres-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-mongodb-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-sqlserver-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/

在这里插入图片描述
8、查看插件加载情况
在这里插入图片描述
9、建立连接器
mysql参考:
https://blog.csdn.net/zyj81092211/article/details/119848646
sqlserver参考:
https://blog.csdn.net/zyj81092211/article/details/119932982
oracle参考
https://blog.csdn.net/zyj81092211/article/details/120115850

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐