OpenMetadata MySQL 数据库使用率提取管道实现解析
目录
- 架构概述
- 核心组件源码分析
- 使用率指标定义
- 数据提取流程图
- 源码类图
- 配置与扩展指南
架构概述
OpenMetadata 通过可插拔的元数据摄取框架实现对 MySQL 使用率数据的采集,核心流程包含三个阶段:
- 数据采集层:从 MySQL performance_schema 和 sys schema 获取原始指标
- 指标处理层:将原始数据转换为统一的使用率指标模型
- 数据存储层:将处理后的指标持久化到 OpenMetadata 服务
核心组件源码分析
1. MySQL 使用率提取器(核心类)
路径:openmetadata-ingestion/src/metadata/ingestion/source/database/mysql/usage.py
class MySQLUsageExtractor(BaseSQLUsageExtractor):
def __init__(self, config: WorkflowSource, metadata: OpenMetadata):
super().__init__(config, metadata)
self.engine = get_connection(self.service_connection)
def _build_sql_statement(self) ->