FusionInsight MRS云原生数据湖

1、FusionInsight MRS概述

1.1、数据湖概述

数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析， 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策

数据湖的价值在于它能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策

1.2、FusionInsight概述

FusionInsight智能数据湖采用了领先的Lakehouse架构，将数据湖和数据仓库的优势融合在一起，提供了高效、规范、灵活、简洁的架构和低资源占用。这种架构降低了传统湖仓割裂导致的系统间复杂度，并减少了在湖、仓、AI开发之间来回迁移数据的工作

FusionInsight官网：https://www.huaweicloud.com/product/huaweicloudstack/fusioninsight.html

FusionInsight由多个子产品组成：

• Fusion Insight HD（大数据处理环境）：使用Hive和HBase数据库
• Fusion Insight MPPDB（并行处理关系型数据库）：使用PostgreSQL数据库，数据存储使用HDFS
• Fusion Insight Miner（数据分析平台）：基于Fusion Insight HD
• Fusion Insight Farmer（应用容器）
• Fusion Insight Manager（操作运维系统）

FusionInsight包括多个云服务‌：MRS云原生数据湖、DWS云数据仓库、DGC数据湖治理中心、GES图引擎等云服务‌‌

1.3、MRS概述

华为MRS（MapReduce Service）是华为云推出的一种大数据处理服务，基于开源的Hadoop生态系统，通过简化的大数据处理流程，为用户提供一个高效、灵活、安全的大数据计算平台

华为MRS不仅支持传统的批处理任务（如MapReduce），还支持Spark、Hive、HBase等多种大数据处理引擎，适用于各类数据分析、处理和存储任务

通过华为云MRS，企业可以在云环境中构建自己的大数据平台，进行数据存储、计算、分析和可视化，帮助企业处理海量数据并从中提取有价值的洞察

华为MRS作为一个高性能的大数据处理平台，提供了一种高效、可靠、安全的数据管理和分析平台，可以帮助企业和组织更好地管理和利用海量数据

MRS介绍：https://support.huawei.com/enterprise/zh/doc/EDOC1100328015/5984720e

MRS官网：https://www.huaweicloud.com/product/mrs.html

MRS功能总览：https://support.huaweicloud.com/intl/zh-cn/function-mrs/index.html

华为MRS的优势包括：

• 计算存储分离

  MRS具备计算存储分离的先进架构，鲲鹏加持，多核高性价比

• 灵活弹性伸缩

  资源灵活配比，可以选择多种计算和存储资源进行组合，按需自动弹性伸缩，大大降低上云成本

• 完全兼容开源

  100%兼容开源生态接口，存算分离数据迁移，支持屏蔽OBS接口，业务无感知，客户业务代码“0”改动

• 搬迁简单快速

  搬迁工具齐全，简单快速完成无业务中断迁移方案

2、FusionInsight MRS解决方案

FusionInsight MRS云原生数据湖让客户在一个Lakehouse湖仓一体架构上实现“三湖一集市”，满足用户在建设数据湖过程中快速构建现代数据平台、持续演进的需求

3、FusionInsight MRS优势

FusionInsight MRS的优势包括：

4、FusionInsight MRS功能

4.1、离线数据湖：Lakehouse湖内建仓，分析链路短，建设周期短

4.2、实时数据湖：数据全链路实时分析，价值兑现从T+1到T+0

4.3、逻辑数据湖：跨湖协同分析，效率50倍提升

华为云FusionInsight MRS培训系列官方课程：https://bbs.huaweicloud.com/forum/thread-145085-1-1.html

参考文章：https://blog.csdn.net/qq_20042935/article/details/125068919