根据现代业务需求设计数据架构（三）- 数据网格（Data Mesh）

数据网格（Data Mesh）

机遇与挑战并存的架构模式

数据网格是一种创新的架构方法，为分散式数据管理提供了新思路。它的目标是全面支持数据产品的定义、交付、维护和管理，方便数据消费者查找和使用数据产品。数据网格架构的核心，是把数据管理责任分散给最接近数据源头的人员，并以服务形式共享数据 ，打破了传统集中式数据管理的局限，赋予数据管理更多灵活性与自主性。

数据网格的发展有清晰的驱动因素。一方面，它能提升业务线（LOB）的数据自主性，让各业务线更自主地掌控数据资源，快速响应业务需求；另一方面，能减少对中央 IT 部门的依赖，避免中央 IT 负担过重导致的效率低下。此外，合理利用数据分散化，可有效打破数据孤岛，促进数据流通共享。不过，数据网格架构中有时也需要适度的数据集中化。虽然数据网格优势明显，但在实践中存在一些不可忽视的先决条件和挑战

尚待完善的最佳实践

目前，数据网格架构还不是一种被广泛认可的既定最佳实践。“数据网格” 涵盖多种方法，在组织模式、数据管理策略和技术实施上差异显著。不同组织推动数据网格应用的目的也不同，有的为消除 IT 瓶颈，有的为合理化由业务线主导的数据管道，或响应云现代化数据管理计划以解决孤立数据集问题。因此，数据分析主管不能把数据网格架构当作解决数据管理难题的简单方案。它虽规范了常见数据管理操作，但将责任转移给业务线专家，可能导致数据孤岛增多，数据难以整合。

组织与数据技能的考验

数据网格的成功实施，很大程度上依赖业务线的组织模式和数据技能水平。若各部门数据素养¹、自主性和数据处理能力差异大，且组织实施数据管理活动的能力不足，在数据网格推行初期，中央 IT 部门就需提供更多支持。业务线想在数据网格环境中实现更高自主性，可创建数据产品所有者等新角色，负责数据产品的定义、创建和治理。但缺乏构建分布式数据技能的组织，贸然采用数据网格架构可能导致项目失败和资源浪费。

架构与技术的多样性

在架构、设计和技术实现上，数据网格具有多样性。一般来说，数据网格架构基于云计算，利用共享存储和计算资源搭建数据管理平台。但各业务线在数据交付、维护和治理中使用的工具，会因业务用例和数据生产者与消费者间的合同而不同。这些合同规定了数据产品的范围、服务级别协议（SLA）²和运营成本，诸如可用性标准、计算成本核算、访问并发限制、治理规则与质量策略，还有数据的上下文关联及语义解读等。没有明确合同约束的组织，在数据的可共享性和可重用性上会面临限制，与数据网格促进数据共享的初衷相悖。

联合治理模式的关键

数据网格将数据治理责任从中央集中式管理转移到领域应用程序设计者和用户。为保证业务线能自主构建和公开数据产品，必须制定符合首席信息安全官（CISO）和首席数据官（CDO）或中央治理委员会指导方针的本地数据治理和管理策略。在数据网格应用成熟的组织中，通常由业务组织在中央 IT 支持下自行执行治理政策 ，实现联合治理。

对于元数据不完整的组织，数据网格并非不可行。只要有专业领域知识的数据架构师，就可尝试引入数据网格架构，并在实施中并行构建活动元数据存储，完善数据管理体系。总之，数据网格前景良好，但组织在实施时要充分考虑自身情况，谨慎应对挑战，才能发挥其优势。

链接

• Design your data architecture for modern business needs