【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
目录
1. 背景介绍
2. 环境准备
2.1、技术栈说明
2.2、环境依赖
2.3、硬件与软件环境
2.4、主要工具清单
2.5、Maven 项目结构
2.6、maven pom.xml 依赖
3. Spark 与 Paimon Filesystem Catalog 集成
3.1、HDFS FileSystem catalog
3.1.1、代码内容
3.1.2、运行输出结果
3.1.2.1、Spark 运行日志
3.1.2.2、HDFS 文件目录
3.1.3、创建 hive 的 paimon 格式外部表并查询
3.2、S3 FileSystem catalog
3.2.1、代码内容
3.2.2、运行输出结果
3.2.2.1、Spark 运行日志
3.2.2.2、S3 存储目录
3.3、OSS FileSystem catalog
3.3.1、代码内容
3.3.2、运行输出结果
3.3.2.1、Spark 运行日志
3.3.2.2、OSS 存储目录
4. Spark 与 Paimon Hive Catalog 集成
4.1、代码内容
4.2、运行输出结果
4.2.1、Spark 运行日志
4.2.2、查询 Hive 表
5. 参考
1. 背景介绍
- 为什么选择将 Spark 与 Paimon 集成，解决什么问题？
- 文件系统 Catalog 和 Hive Catalog 的适用场景？
2. 环境准备
2.1、技术栈说明
- Spark、Paimon 的版本选择及其兼容性说明
- Paimon 0.8、0.9 支持版本：Spark 3.1