常见数据湖的优劣对比
详见表格：
| 特性/技术 | Hadoop HDFS | Amazon S3 | Apache Hive | Delta Lake | Apache Iceberg | Apache Hudi |
| 存储模型 | 分布式文件系统，支持大数据存储 | 对象存储，无限扩展，低成本 | 数据仓库，依赖 HDFS 或 S3 | 表格式数据湖，基于 Parquet | 表格式数据湖，基于 Parquet/ORC | 表格式数据湖，基于 Parquet/ORC |
| 事务支持 | 不支持 | 不支持 | 不支持 | 支持 ACID 事务 | 支持 ACID 事务 | 支持 ACID 事务 |
| 版本控制 | 不支持 | 不支持 | 不支持 | 支持多版本（Time Travel） | 支持多版本（Snapshot Isolation） | 支持多版本（Incremental Snapshots） |
| Schema 演进 | 需要手动管理 | 不支持 | 支持，但较复杂 | 支持 Schema 自动演进 | 支持 Schema 自动演进 | 支持 Schema 自动演进 |
| 增量更新 | 不支持 | 不支持 | 不支持 | 支持 MERGE INTO | 支持增量更新（MERGE） | 支持增量更新（MERGE/UPSERT） |
| 文件格式 | 任意格式（通常使用 Parquet/ORC） | 任意格式（Parquet、CSV、JSON） | 基于 HDFS/S3，支持 ORC/Parquet | 支持 Parquet/ORC/JSON | 支持 Parquet/ORC | 支持 Parquet/ORC |
| 性能优化 | 依赖于手动分区和索引 | 依赖于分区和外部加速机制（如 S3 Select） | 依赖 HDFS 性能 | 支持数据跳跃读取（Z-order） | 支持数据跳跃读取和分区裁剪 | 支持索引和分区裁剪 |
| 数据一致性 | 依赖应用程序控制 | 事件最终一致性 | 依赖 HDFS 或对象存储 | 强一致性，支持 ACID 语义 | 强一致性，支持 ACID 语义 | 强一致性，支持 ACID 语义 |
| 兼容工具 | Hadoop 生态（Spark、MapReduce） | 与多种大数据工具兼容 | Hive Query Engine、Spark | Spark、Presto、Hive、Flink | Spark、Trino、Presto、Flink | Spark、Presto、Flink、Hive |
| 适用场景 | 大规模数据存储，传统大数据分析 | 低成本对象存储，大规模数据湖 | ETL 和批处理查询，数据仓库方案 | 实时数据湖，复杂查询和事务处理 | 数据湖管理，事务型操作 | 实时数据处理，增量和批量更新 |
| 优点 | - 高度成熟，兼容 Hadoop 生态 | - 成本低，存储弹性 | - 兼容 Hive SQL 和大数据生态 | - ACID 事务，时间旅行功能 | - 高效增量处理，ACID 事务支持 | - 实时处理，低延迟，高效的增量更新 |
| 缺点 | - 不支持事务，需外部工具配合 | - 不支持事务和 Schema 演进 | - 性能相对较低，不支持事务 | - 依赖 Spark，需额外调优 | - 实现复杂度高 | - 实现复杂，写操作开销大 |