Flink-Kafka-Connector
Apache Flink 是一个用于处理无界和有界数据的开源流处理框架。它支持高吞吐量、低延迟以及精确一次的状态一致性等特性。Flink 社区提供了丰富的连接器（Connectors）以方便与不同的数据源进行交互，其中就包括了 Apache Kafka 连接器。
Apache Kafka Connector 概述
Flink-Kafka-Connector 是 Flink 提供的一个专门用于与 Kafka 集成的组件。通过这个连接器，用户可以轻松地从 Kafka 中读取数据流（Source）或将数据流写入到 Kafka（Sink）。Kafka 是一个分布式流处理平台，广泛应用于构建实时数据管道和流应用。
主要功能
-
Source 功能：
- 从指定的 Kafka 主题中消费数据。
- 支持多种数据格式，如 JSON, CSV 等。
- 可配置消费者组，实现负载均衡和故障恢复。
-
Sink 功能：
- 将处理后的数据写入到 Kafka 主题。
- 支持事务性写入，确保数据的一致性和可靠性。
- 允许自定义序列化逻辑，以适应不同业务需求。
-
高级特性：
- Exactly-Once 语义：通过与 Kafka 的事务API集成，Flink-Kafka-Connector 能够提供端到端的恰好一次处理保证。
- Checkpointing：支持与 Flink 的检查点机制协同工作，确保在失败情况下能够快速恢复状态。
- 动态分区发现：自动检测 Kafka 主题中的新分区，并相应地调整消费者的数量