当前位置: 首页 > article >正文

Flink把kafa数据写入Doris的N种方法及对比。

用Flink+Doris来开发实时数仓,首要解决是如何接入kafka实时流,下面是参考Doris官方文档和代码,在自己项目开发的实践中总结,包括一些容易踩坑的细节。

目录

Routine Load方法

 接入kafka实时数据

踩坑的问题细节 

Flink Doris Connector方法

完整示例


Routine Load方法

如果Doris是2.1以上,不需要复杂的数据转换的,建议使用Doris自带的Routine Load,实测使用方便,性能高。

 接入kafka实时数据

Doris 可以通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据。在提交 Routine Load 作业后,Doris 会持续运行该导入作业,实时生成导入任务不断消费 Kakfa 集群中指定 Topic 中的消息。

Routine Load 是一个流式导入作业,支持 Exactly-Once 语义,保证数据不丢不重。下面示例如何通过拉入kafka数据(json格式):<


http://www.kler.cn/a/518354.html

相关文章:

  • 深入MapReduce——计算模型设计
  • 【阅读笔记】基于整数+分数微分的清晰度评价算子
  • Linux 入门 常用指令 详细版
  • Go语言开发项目文件规范
  • Docker快速部署高效照片管理系统LibrePhotos搭建私有云相册
  • Poseidon哈希为什么适合做ZKP
  • UniAPM智能运维平台
  • 浅析云场景SSD实时迁移技术
  • 【Linux:序列化和反序列化】
  • 【vLLM 学习】使用 OpenVINO 安装
  • uniapp下拉菜单
  • reactor框架使用时,数据流请求流程
  • 前端性能优化 — 保姆级 Performance 工具使用指南
  • python生成图片和pdf,快速
  • 【Uniapp-Vue3】图片lazy-load懒加载
  • Alfresco Content Services docker自动化部署操作
  • flatten-maven-plugin 统一版本管理插件
  • 大厂案例——腾讯蓝鲸DevOps类应用的设计与实践
  • Unity URP 获取/设置 Light-Indirect Multiplier
  • 考研机试题:打印日期
  • 健康AI应用的逆袭:如何用“死亡时钟”撬动用户增长和媒体关注,实现应用榜快速排名第六
  • 【数据结构】_不带头非循环单向链表
  • 安全扫描Django项目解决存在敏感信息常见问题
  • redis主从集群中的哨兵机制
  • 探索 Web3 技术:如何推动数字身份的自主管理
  • 第4章 神经网络【1】——损失函数