当前位置: 首页 > article >正文

数据仓库相关

​在阿里巴巴的数据体系中,我们建议将数据仓库分为三层,自下而上为:数据引入层(ODS,Operation Data Store)、数据公共层(CDM,Common Data Model)和数据应用层(ADS,Application Data Service)。

数据仓库的分层和各层级用途如下图所示。

  • 数据引入层ODS(Operation Data Store):存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责,同时记录基础数据的历史变化。

  • 数据公共层CDM(Common Data Model,又称通用数据模型层),包括DIM维度表、DWD和DWS,由ODS层数据加工而成。主要完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。

  • 公共维度层(DIM):基于维度建模理念思想,建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。
    公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。

  • 公共汇总粒度事实层(DWS):以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表、明细事实表。
    公共汇总粒度事实层的表通常也被称为汇总逻辑表,用于存放派生指标数据。

  • 明细粒度事实层(DWD):以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。可以结合企业的数据使用特点,将明细事实表的某些重要维度属性字段做适当冗余,即宽表化处理。
    明细粒度事实层的表通常也被称为逻辑事实表。

  • 数据应用层ADS(Application Data Service):存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。


http://www.kler.cn/a/137056.html

相关文章:

  • 如何使用 Python 执行 SQL 查询?
  • 电脑开机提示error loading operating system怎么修复?
  • 页面无滚动条,里面div各自有滚动条
  • 【机器学习与数据挖掘实战】案例04:基于K-Means算法的信用卡高风险客户识别
  • Mysql复习(二)
  • 在安卓Android应用中实现二维码图像的保存与条形码文本合并
  • 适合学校或高校老师、学生学习用的网盘推荐
  • Modbus TCP/RTU协议转PROFINET协议网关
  • 【视觉SLAM十四讲学习笔记】第三讲——旋转矩阵
  • 碳中和领域研究,细谈新能源“爆发”的原因之一
  • centos安装指定版本docker
  • 面试官:如何实现微服务全链路灰度发布?
  • Element UI 禁用数字输入框组件添加鼠标滚动事件
  • 数据处理生产环境_获取当前日期的前一天日期
  • I.MX6ULL开发笔记(一)——环境搭建、镜像烧录、网络连接
  • Qt如何解析JSON格式
  • SAP smartform和ALV如何使用图片 如何下载SE78上传的图片到本地
  • 解析紫光展锐T820 5G芯片——让照片接近原色
  • 【自动驾驶解决方案】C++取整与保留小数位
  • CentOS部署Skywalking
  • 浅谈电动汽车充电桩设计与应用研究
  • Linux 基础操作手记四
  • #gStore-weekly | gBuilder功能详解之表单录入
  • Web之HTML笔记
  • 人工智能基础_机器学习044_使用逻辑回归模型计算逻辑回归概率_以及_逻辑回归代码实现与手动计算概率对比---人工智能工作笔记0084
  • yolo系列模型训练数据集全流程制作方法(附数据增强代码)