创建kafka topic

kafka-topics --zookeeper test:2181 --topic test --partitions 1 --replication-factor 1 --create

生成测试数据

kafka-console-producer --broker-list test:9092 --topic test

开启FlinkSQL

./sql-client.sh embedded --jar /home/<username>/flink-sql-connector-kafka_2.11-1.11.0.jar

创建连接kafka的一张表

 CREATE TABLE kafkaTable (
 a String
) WITH (
 'connector' = 'kafka',
 'topic' = 'test',
 'properties.bootstrap.servers' = 'test-4:9092',
 'properties.group.id' = 'testGroup',
 'format' = 'csv',
 'scan.startup.mode' = 'earliest-offset'
)

运行SQL

select * from kafkaTable;
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐