当前位置：首页 > article >正文

分布式Python计算服务MaxFrame使用心得

article 2024/12/26 16:22:37

大家好，我是 V 哥，MaxFrame是由阿里云自研的分布式计算框架，专为Python开发者设计，以支持大规模数据处理和AI模型开发。以下是MaxFrame的一些核心特性和优势：

Python编程接口和Pandas兼容性：MaxFrame支持Python编程接口，并完全兼容Pandas接口。这意味着Python开发者可以使用他们熟悉的Pandas语法来进行分布式数据处理，而无需关心底层的分布式计算细节。
自动分布式计算：MaxFrame能够自动将计算任务分布到MaxCompute的计算资源上，实现分布式计算。这使得开发者可以利用MaxCompute的海量计算资源，而不受本地资源大小的限制。
高效的数据处理能力：MaxFrame直接在MaxCompute集群中进行数据分布式计算，无需将数据拉取至本地处理，从而消除了不必要的本地数据传输，提高了作业执行效率。

MaxFrame适用于需要开箱即用的Python环境，并迅速进行数据处理、数据科学和交互式数据探索的开发人员。它也适用于大规模数据分析与处理，以及Data+AI开发，满足从数据处理到AI模型训练与部署的需要。MaxFrame按照作业计算资源使用量进行计费，支持按量付费及包年包月两种付费方式。

下面 V 哥通过两个案例来演示具体的操作。

使用案例

1. 分布式Pandas处理

在处理大规模数据集时，传统的Pandas会面临内存瓶颈和计算效率低下的问题。MaxFrame通过分布式计算，显著提升了数据处理的速度。例如，在对一个包含数百万行数据的金融数据集进行清洗和特征工程时，使用传统Pandas耗时数小时，而采用MaxFrame后，处理时间缩短至几十分钟，兄弟不要着急，后面结合实现来介绍。

2. 大语言模型数据处理

MaxFrame在大语言模型数据处理场景中表现出色。它提供了丰富的算子和工具，能够高效地对大规模文本数据进行预处理，如分词、去噪、词向量计算等。使用MaxFrame处理用于训练语言模型的大规模文本语料库，能够快速完成数据的清洗和转换，为模型训练提供高质量的数据，从而显著缩短模型的训练周期，提高模型的性能。

这是两个典型的业务场景，要使用 MaxFrame 来完成这个操作，我们先要把MaxFrame客户端装上。

万事具备，先装MaxFrame客户端

1. 安装MaxFrame客户端

您可以通过PIP安装MaxFrame客户端：

pip install maxframe

或者从源代码安装：

pip install git+https://github.com/aliyun/alibabacloud-odps-maxframe-client.git

确保安装成功后，可以通过以下命令检查：

python -c "import maxframe.dataframe as md"

如果无返回值或报错信息，则表示安装成功。

2. 初始化MaxFrame会话

在代码的入口处，通过调用new_session接口初始化整个作业。后续的数据处理将借助所构建的会话对象与后端服务进行交互，以执行各种数据操作：

import os
from maxframe import new_session
from odps import ODPS

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point'
)

session = new_session(o)

3. 读取和写入MaxCompute表

使用MaxFrame读取MaxCompute表中的数据，并进行处理：

import maxframe.dataframe as md

df = md.read_odps_table("source_table")
df["A"] = "prefix_" + df["A"]
md.to_odps_table(df, "prefix_source_table").execute()

4. 执行数据处理

MaxFrame提供了一系列兼容Pandas的API接口，覆盖了数据计算、投影、过滤及排序等多种操作。例如，进行简单的数据加法：

df = md.DataFrame({'angles': [0, 3, 4],
                   'degrees': [360, 180, 360]},
                  index=['circle', 'triangle', 'rectangle'])
df = df + 1

5. 销毁MaxFrame会话

完成数据处理后，销毁MaxFrame会话：

session.destroy()

根据搜索结果，以下是两个具体的MaxFrame在处理大规模数据集时的应用案例：

案例1：金融数据集的清洗和特征工程

场景描述：
在这个案例中，我们使用MaxFrame来处理一个包含数百万行数据的金融数据集，进行数据清洗和特征工程。传统Pandas在处理这样大规模的数据集时会面临内存瓶颈和计算效率低下的问题，而MaxFrame通过分布式计算显著提升了数据处理的速度。

实现步骤：

初始化MaxFrame会话：

   from odps import ODPS
   from maxframe.session import new_session
   import os
   
   o = ODPS(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='your-default-project',
       endpoint='your-end-point',
   )
   session = new_session(o)

读取MaxCompute表中的数据：

   sales = md.read_odps_table("sales_maxframe_demo", index_col="index")
   product = md.read_odps_table("product_maxframe_demo", index_col="product_id")

使用merge方法连接两张数据表：

   df = sales.merge(product, left_on="product_id", right_index=True)
   df = df[["product_name", "year", "price"]]

执行计算并获取结果：

   print(df.execute().fetch())

保存结果到MaxCompute表中，并销毁Session：

   md.to_odps_table(df, "result_df", overwrite=True).execute()
   session.destroy()

性能对比：

在sales表数据量为5000W条（size：1.96 GB），product表数据量为10W条（size：3 MB）的数据样本中进行运算，本地Pandas耗时65.8秒，而MaxFrame耗时22秒，是不是很牛 X。

案例2：大语言模型数据处理

场景描述：
在大语言模型数据处理场景中，MaxFrame提供了丰富的算子和工具，能够高效地对大规模文本数据进行预处理，如分词、去噪、词向量计算等。使用MaxFrame处理一个用于训练语言模型的大规模文本语料库，能够快速地完成数据的清洗和转换，为模型训练提供高质量的数据，从而显著缩短了模型的训练周期，提高了模型的性能，V 哥是这么做的：

实现步骤：

初始化MaxFrame会话：

   from odps import ODPS
   from maxframe.session import new_session
   import os
   
   o = ODPS(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='your-default-project',
       endpoint='your-end-point',
   )
   session = new_session(o)

读取MaxCompute表中的数据：

   text_data = md.read_odps_table("text_data_maxframe_demo", index_col="index")

进行文本预处理：
- 分词、去噪等操作可以根据具体需求使用MaxFrame提供的算子或自定义UDF函数实现。
执行计算并获取结果：

   processed_data = text_data.execute().fetch()

保存处理后的数据到MaxCompute表中，并销毁Session：

   md.to_odps_table(processed_data, "processed_text_data", overwrite=True).execute()
   session.destroy()

上面是关键代码片段，并进行脱敏处理，兄弟只需要根据自身情况修改即可，我们可以看到，在金融数据分析和大语言模型数据处理方面，MaxFrame通过分布式计算显著提高了数据处理的速度和效率。

小结

为了优化MaxFrame在大型数据集上的性能，总结几点关键问题：

数据分区：将大型数据集分成较小的分区，以便在查询时只需处理与请求相关的分区，减少数据扫描范围，提高查询性能。
数据压缩：使用压缩技术减小数据存储空间和提高I/O效率，减少磁盘I/O操作，提高查询性能。
分布式Pandas处理：MaxFrame支持分布式Pandas处理，通过简单的代码修改和配置，能够轻松地将数据分割到多个节点上进行并行计算，显著提升了数据处理的速度。
执行任务并查看执行结果：通过execute()方法触发数据处理任务，并使用fetch()方法获取部分执行结果数据，相比于Pandas，MaxFrame允许有效地处理大规模数据集，并通过延迟计算模式来减少不必要的数据传输。