AllData数据中台核心菜单十二:数据同步平台
🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。
✨奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨AllData官方文档:https://alldata-document.readthedocs.io
✨AllData社区文档:https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
「 AllData数据中台 - 主页 」
「 数据同步平台 - 功能描述 」
1、AllData数据同步平台基于开源项目Seatunnel建设。
2、SeaTunnel是下一代高性能、分布式、海量数据集成框架,是一个非常易用、超高性能的分布式数据集成平台。
3、SeaTunnel支持上百个数据源、传输速度快、准确率高,丰富易扩展的连接器和插件化的连接器设计,能够更轻松的运行复杂的集成。
4、SeaTunnel完美兼容离线同步、实时同步、全量/增量同步等场景。支持可视化开发和代码开发。使用超高性能分布式数据同步、将会实时同步海量数据摄取或获取变更数据。
5、SeaTunnel默认使用zeta引擎,同时也支持多个版本的spark和flink,支持实时海量数据同步,每天可稳定高效同步数百亿数据。
「 数据同步平台 - 模块功能汇总 」
「 数据同步平台 - 功能点展示 」
「 任务 」同步任务定义
「 任务 」同步任务定义-任务详情
Seatunnel数据同步平台,进入同步任务定义页面,进行数据源参数配置。
Seatunnel数据同步平台,进入同步任务定义页面,进行同步处理参数配置。
Seatunnel数据同步平台,进入同步任务定义页面,进行数据目的地参数配置。
「 任务 」同步任务定义-创建同步任务
「 任务 」同步任务实例-离线同步
「 任务 」同步任务实例-实时同步
「 数据源 」
「 数据源 」创建数据源
「 数据源 」文件
「 数据源 」非结构化
「 数据源 」存储
「 数据源 」远程链接
「 数据源 」假链接
「 虚拟表 」
「 虚拟表 」创建虚拟表
「 用户管理 」
「 用户管理 」创建用户