当前位置: 首页 > article >正文

阿里 DataWorks:数据治理、安全中心、数据质量核心功能梳理

文章目录

  • 阿里 DataWorks:云原生数据治理与安全一体化实践指南
    • 一、数据治理中心
      • 1.1 数据治理体系
      • 1.2 产品架构全图
      • 1.3 概要使用路径
      • 1.4 治理现状评估
        • 数据治理健康分评估模型
      • 1.5 检查项 & 治理项
        • (1) 检查项
        • (2) 治理项
      • 1.6 治理工具箱
      • 1.7 治理结果查看
    • 二、安全中心(依赖数据保护伞)
      • 2.1 数据平台安全
      • 2.2 数据访问控制
      • 2.3 数据使用安全
      • 2.4 安全策略
    • 三、数据质量
      • 3.1 数据质量概述
      • 3.2 规则配置
      • 3.3 监控任务管理
    • 四、参考资源

阿里 DataWorks:云原生数据治理与安全一体化实践指南


一、数据治理中心

在这里插入图片描述


1.1 数据治理体系

  • 治理对象:任务和表
  • 治理目标:降本提效
    • 降本:释放不必要的存储资源、计算资源
    • 提效:使数据获取更便捷、准确、及时
  • 治理流程
    1. 现状分析
    2. 问题定位
    3. 优化治理
    4. 效果评估
  • 治理核心:量化
    • 问题量化
    • 效果量化

1.2 产品架构全图

在这里插入图片描述

  • 数据治理中心分层
    • 元数据层
    • 治理应用层:
      • 内置模板
      • 事前自动预防
      • 事后存量问题自动发现
      • 优化指南
    • 管理运营层:
      • 治理评估报告
      • 健康分体系
      • 治理排行榜
      • 运营推送

1.3 概要使用路径

在这里插入图片描述

  1. 现状评估
  2. 治理实施
  3. 治理运营

1.4 治理现状评估

数据治理健康分评估模型

在这里插入图片描述
在这里插入图片描述

等级健康分区间
优秀[80,100]
良好[75,90]
及格[60,75]
高改进[30,60)
较差[0,30)
  • 扣分逻辑:满分100分
  • 实现难点
    • 元数据获取
    • 加工构建
    • 治理问题洞察

1.5 检查项 & 治理项

(1) 检查项

在这里插入图片描述

  • 支持工作空间级配置
  • 任务发布/提交时自动触发扫描
(2) 治理项

在这里插入图片描述

在这里插入图片描述


1.6 治理工具箱

  1. 任务360视图
    在这里插入图片描述
    在这里插入图片描述

  2. 表360视图
    在这里插入图片描述


1.7 治理结果查看

  1. 治理评估报告
    在这里插入图片描述

  2. 治理排行榜
    在这里插入图片描述


二、安全中心(依赖数据保护伞)

2.1 数据平台安全

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


2.2 数据访问控制

在这里插入图片描述


2.3 数据使用安全

在这里插入图片描述

2.4 安全策略

参考链接


三、数据质量

3.1 数据质量概述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


3.2 规则配置

  1. 规则列表
    在这里插入图片描述

  2. 表级监控配置
    在这里插入图片描述

  3. 模板化配置

在这里插入图片描述
在这里插入图片描述


3.3 监控任务管理

在这里插入图片描述


四、参考资源

  • 阿里云云原生一体化数仓数据治理新能力解读
  • DataWorks大数据开发治理平台帮助中心

http://www.kler.cn/a/573842.html

相关文章:

  • 3.激活函数:神经网络中的非线性驱动器——大模型开发深度学习理论基础
  • 访问grafana的api
  • 人工智能之数学基础:矩阵的秩
  • K8S学习之基础八:pod的状态和重启策略
  • Unity插件-Mirror使用方法(五)组件介绍(​Network Identity)
  • 企业防盗版新招:SPN 沙盒安全上网解决方案
  • 通过RK3588的cc-linaro-7.5.0交叉编译器搭建QT交叉编译环境QtCreator(无需编译QT源码)
  • 杰和科技工业整机AF208|防尘+静音+全天候运行
  • 10.RabbitMQ集群
  • 战略合作升级 | 大势智慧携手广西地测院,共绘智慧测绘新蓝图
  • http的post请求不走http的整个缓存策略吗?
  • C语言--预处理详解
  • 数据结构秘籍(四) 堆 (详细包含用途、分类、存储、操作等)
  • 服务器中常见的冗余技术有哪些?
  • Sentence BERT相似度计算有误,匹配有误差解决方法
  • 全国现代物流科技应用大会暨城郊大仓基地高质量建设运营服务高峰论坛
  • 数据安全的守护者:备份文件的重要性及自动化备份策略
  • 《2025软件测试工程师面试》功能测试篇
  • Java常用正则表达式(身份证号、邮箱、手机号)格式校验
  • golang反射