Flink学习5---DataStream之DataSource API (四)addSource用法
addSource可以实现读取第三方数据源的数据。1. 此处以读取kafka数据为例 (kafka集群安装参考https://blog.csdn.net/zhuzuwei/article/details/107136796)import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.fl
·
addSource可以实现读取第三方数据源的数据。
1. 此处以读取kafka数据为例 (kafka集群安装参考 https://blog.csdn.net/zhuzuwei/article/details/107136796)
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import java.util.Properties;
public class KafkaSouceReview {
public static void main(String[] args) throws Exception{
// 1.获取flink流计算的运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//Kafka props
Properties properties = new Properties();
//指定Kafka的Broker地址
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.***.***:9092,192.168.***.***:9092,192.168.***.***:9092");
//指定组ID
properties.put(ConsumerConfig.GROUP_ID_CONFIG, "kafka_test_group1");
//如果没有记录偏移量,第一次从最开始消费
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
// 2.从kafka读取数据
FlinkKafkaConsumer<String> kafkaSource = new FlinkKafkaConsumer<>("kafka_test1", new SimpleStringSchema(), properties);
DataStreamSource<String> stringDataStreamSource = env.addSource(kafkaSource);
//3.调用Sink
stringDataStreamSource.print();
//4.启动流计算
env.execute("KafkaSouceReview");
}
}
FlinkKafkaConsumer方法源码如下,第二个参数要传入DeSerializationSchema的实现类的实例。
public FlinkKafkaConsumer(String topic, DeserializationSchema<T> valueDeserializer, Properties props) {
this(Collections.singletonList(topic), valueDeserializer, props);
}
DeSerializationSchema实现类如下,最常用的就是SimpleStringSchema.
2. 启动zookeeper集群:依次在不同节点执行 ./zkServer.sh start
3. 启动kafka集群:依次在不同节点执行./kafka-server-start.sh -daemon /usr/local/kafka_2.11-2.1.1/config/server.properties &
在后台启动kafka
4. 创建topic kafka_test1
5. 启动并写数据到kafkatopic
6. 启动flink的java程序,成功读取到数据
更多推荐
已为社区贡献1条内容
所有评论(0)