Flink读写Kafka(DataStream API)
在Flink里,已经预定义了kafka connector,使用该connector我们可以读写kafka,并且能实现exactly once的语义。
要使用需要引入相关的maven依赖,在这里,因为读写kafka,就会涉及一个问题,kafka-client和broker的版本兼容问题,不过因为kafka client和broker的双向兼容的良好设计(高版本client api可以兼容低版本的broker),所以flink里一直引用最新的kafka client也是没有问题的,我们知道这回事然后就不必过多去关注了。maven依赖如下:
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka</artifactId>
<version>1.15.4</version>
</dependency>
1. 读取Kafka(即使用Kafka Source)
1)使用示例
Kafka source提供了一个用于构建KafkaSource实例的构建器类(KafkaSourceBuilder<OUT>),可以使用Ka