当前位置： 首页 > article >正文

【Apache Paimon】-- 11 -- Flink 消费 kakfa 写 S3 File

article 2025/2/28 23:53:54

目录

1、项目构建

2、项目新增和修改

2.1 pom.xml 新增依赖

2.2 本地测试或者 flink on k8s 时，新增 S3FileSystemFactory.java

第一步：创建包=org.apache.flink.fs.s3hadoop

第二步：新增 java 类 S3FileSystemFactory

特别注意

（1）本地测试时需要新增以下内容

第三步：修改 flink sql 创建 s3_sink

3、运行查看结果

1、项目构建

参考前置项目先构建好项目：【Apache Paimon】-- 4 -- Flink 消费 kafka 数据，然后写入 paimon_paimon kafka-CSDN博客

2、项目新增和修改

2.1 pom.xml 新增依赖

       <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-s3-fs-hadoop</artifactId>
            <version>1.19.1</version>
        </dependency>

http://www.kler.cn/a/452823.html

相关文章：

  • 全局JDK环境和ES自带的JDK混用导致的ES集群创建失败
  • Spring Boot 知识要点全解析
  • 04.HTTPS的实现原理-HTTPS的混合加密流程
  • 【魅力golang】之-玩转协程
  • Qt之QML应用程序开发：给应用程序添加图标文件
  • 【FastAPI】日志
  • element ui--下拉根据拼音首字母过滤
  • 纯真社区版IP库CZDB数据格式使用教程
  • 05.HTTPS的实现原理-HTTPS的握手流程（TLS1.2）
  • 【大语言模型】ACL2024论文-34 你的模型能区分否定和隐含意义吗？通过意图编码器揭开挑战
  • 美食推荐系统｜Java｜SSM｜JSP｜
  • w~视觉~3D~合集5
  • 如何编写 Prompt
  • 笔记工具--MD-Markdown的语法技巧
  • OSI 网络 7 层模型
  • Let‘s encrypt 免费 SSL 证书安装
  • [Unity Shader][图形渲染]【游戏开发】 Shader数学基础8 - 齐次坐标
  • Docker部署Sentinel
  • vue 基础学习
  • 赛博错题本