Ray Data 内部架构深度解析
Ray Data 是一个基于 Ray 核心的分布式数据处理框架，它提供了一个高层次的 Python API，用于加载、转换和处理大规模数据集。本文将深入探讨 Ray Data 的内部架构、执行机制、调度策略和内存管理等方面，帮助读者更好地理解和使用 Ray Data。
核心概念
Datasets and Blocks
Datasets
Dataset 是 Ray Data 的主要用户接口，它表示一个分布式的数据集合，并定义了数据加载和处理的操作。用户通常按照以下步骤使用 Dataset API：
- 创建：从外部存储（如文件、数据库）或内存数据创建一个 Ray Dataset。
- 转换：对数据应用转换操作，如
map_batches、filter等。 - 输出：将处理后的数据写入外部存储或传递给训练工作进程