介绍
如下架构所示:
读/写操作:
Paimon 支持多样化的数据读写方式,并支持 OLAP 查询。
-
读取:
- 支持从历史快照(批处理模式)中消费数据,
- 从最新偏移量(流处理模式)中读取数据,
- 或以混合方式读取增量快照。
-
写入:
- 支持从数据库变更日志(CDC)进行流式同步,
- 从离线数据中进行批量插入/覆盖操作。
生态系统:
除了 Apache Flink,Paimon 还支持其他计算引擎读取数据,如 Apache Hive、Apache Spark 和 Trino。
内部机制:
- Paimon 底层将列式文件存储在文件系统或对象存储中。
- 文件的元数据保存在清单文件中&