当前位置：首页 > article >正文

paimon使用腾讯云cosn作为仓库存储的使用方式

article 2025/1/17 9:24:32

背景

paimon是flink推出的高性能流式数据湖平台，我们在业务应用中选型了paimon作为数据湖的落地框架。对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。

我们在大数据存储使用的是腾讯云的cosn对象存储，因此我们需要两者进行结合使用，让cosn作为paimon的存储仓库。

paimon的使用

我们需要用java对paimon进行基本的DDL操作，例如创建数据库，创建数据表等等。根据paimon的官方要求，我们得先构建catalog。

先引入paimon的依赖包

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-bundle</artifactId>
  <version>1.1-SNAPSHOT</version>
</dependency>
<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-flink-common</artifactId>
  <version>1.0.0</version>
</dependency>

paimon可以构建2种catalog,一种路径catalog只需要仓库路径，如下：

    public static Catalog createFilesystemCatalog() {
        CatalogContext context = CatalogContext.create(new Path("..."));
        return CatalogFactory.createCatalog(context);
    }

另一种catalog,叫做hivecatalog则需要hive的信息和hdfs的信息，如下：

    public static Catalog createHiveCatalog() {
        // Paimon Hive catalog relies on Hive jars
        // You should add hive classpath or hive bundled jar.
        Options options = new Options();
        options.set("warehouse", "...");
        options.set("metastore", "hive");
        options.set("uri", "...");
        options.set("hive-conf-dir", "...");
        options.set("hadoop-conf-dir", "...");
        CatalogContext context = CatalogContext.create(options);
        return CatalogFactory.createCatalog(context);
    }

普通存储catalog所创建的元数据信息只存在表的存储路径下，因为使用spark等一些计算引擎会找不到表，所以我们选用的是hivecatalog来创建paimon表。

结合cosn

我们创建hivecatalog时，catalog的warehouse使用的是cosn路径，结果出现如下错误：

那是因为我们还没引入cosn配置。先加入cosn的依赖包，如下：

    <dependency>
      <groupId>com.qcloud.cos</groupId>
      <artifactId>hadoop-cos</artifactId>
      <version>3.1.0-8.2.4</version>
    </dependency>
    <dependency>
      <groupId>com.qcloud</groupId>
      <artifactId>cos_api</artifactId>
      <version>5.6.112</version>
    </dependency>

再确保hivecatalog的hadoop-conf-dir参数路径下有hdfs-site.xml,core-site.xml 2个配置文件，并且配置文件根据cosn的hadoop配置进行配置cosn的各个参数，如下：