从依托指标字典到 NoETL 自动化指标平台,指标口径一致性管理的进阶
今天,我们一起来梳理和盘点下不同代际指标平台如何实现指标口径一致性管理:
第一代:指标口径登记与管理
第一代指标平台聚焦于指标口径的登记与管理,依托指标字典实现企业指标口径的有效检索与管理功能。
此阶段,业务部门率先提出指标口径需求,随后 ETL 工程师与业务人员进行详尽沟通,确认指标业务口径,再由 ETL 工程师据此将业务口径转化为具体的 SQL 任务,并在数仓中进行开发。开发完毕后,处理的数据以表格形式输出,指标业务口径被登记在指标字典内。
然而,该过程牵涉多个部门及人员,指标口径需多次沟通确认,开发效率低下。此外,指标开发与指标口径登记分别在不同工具中完成,指标管理依赖于制度与流程来强制执行,难以确保指标口径的 100% 登记与落实。
第二代:依赖 ETL 开发的指标平台
尽管有了指标字典,但指标管理与消费仍割裂,导致口径不统一、开发低效、复用难。因此国外出现 Headless BI 理念,即通过独立指标平台统一定义指标,向 BI 工具及下游应用提供统一指标,以统一口径并促进多场景复用。
国内也开始出现独立指标平台厂商,尝试统一管理与消费,但实践发现,因定义能力有限及查询加速问题,60% 以上指标仍需 ETL 工程师在数仓侧开发,导致指标管理与研发分离,指标口径不一致和开发效率低的问题依旧。
究其根本,要实现“一处定义、处处使用”,指标平台需能定义任意复杂指标并自动物化加速,才能确保指标生产不回归数仓开发逻辑中,实现 100% 口径一致,规避”同名不同义”、“同义不同名”等问题。
第三代:NoETL 自动化指标平台
第三代指标平台基于明细语义数据模型定义指标,通过强大的指标定义能力与自动物化加速能力实现任意指标可配置化定义、可自动化开发、可开放化应用,真正交付指标平台的价值主张——管研用的一体化,彻底杜绝指标定义分散化,由系统代持指标应用层的 ETL 开发作业,实现指标分析的敏捷性和指标口径的一致性兼顾。
定义能力是实现指标管研用一体化的基础,指标只有可被定义,才能实现可统一管理。指标平台的定义能力必须强大,任意复杂指标都可以实现配置化定义,而不会绕过指标平台,让 IT 写 SQL 在数仓中加工。
在强大的指标定义能力基础上,还需要提供“定义即开发”的能力,系统自动化实现“反范式的宽表/汇总表”加工,指标应用层实现 NoETL,系统自动实现物化链路编排和查询加速,确保指标口径的一致性和保障大数据量下的查询体验。
集规范指标定义、自动指标生产、语义化指标目录、开放指标服务于一体,Aloudata CAN 自动化指标平台通过应用了“Headless BI”架构,能够为企业提供统一定义、统一管理和统一服务的独立指标层,消除指标二义性,实现指标口径的一致性和共享复用。
目前,Aloudata CAN 自动化指标平台已在极复杂的数据环境中为客户带来实质性帮助。某客户基于 Aloudata CAN 统一指标服务,支持经营分析、人群圈选、客群分析、策略归因、漏洞分析等数字化管理和数据化运营全场景,实现自上而下、全场景指标口径 100% 一致。访问 Aloudata 官网,了解更多。