当前位置：首页 > article >正文

物联网设备研究——分配推理负载的联合学习方法

article 2024/11/14 16:45:12

概述

物联网（IoT）的最新发展导致人工智能模型被嵌入到传感器和智能手机等终端设备中。这些模型是根据每个设备的存储容量和计算能力定制的，但重点是在终端侧进行本地推理，以降低通信成本和延迟。

然而，与部署在边缘服务器或云端的更先进模型相比，设备上的模型往往表现不佳。为了解决这个问题，有人提出了合作推理系统（CIS），它允许能力较弱的设备将部分推理任务卸载给功能更强大的设备，从而提高了整体性能。

此外，由于 CIS 操作中客户之间提供服务的异质性很高，传统的培训方法往往无法提供足够的性能。本研究提出了一种专为 CIS 设计的新的联合学习（FL）方法，该方法允许在培训模型中考虑每个客户服务提供率的变化。

这一新框架不仅提供了理论保证，而且在性能上优于 CIS 的最先进训练算法。这在推理请求频率和数据可用性因客户而异的情况下尤其如此。

建议方法

本研究针对协作推理系统（CIS）提出了一种新颖的联合学习（FL）方法。该方法可在考虑到 CIS 环境中推理请求的频率和客户数据可用性差异的情况下进行模型训练。主要特点和方法如下。

考虑到推理服务限制的优化问题：该方法考虑到了客户推理请求的异质性，并将这种情况表述为一个优化问题。具体来说，它根据推理请求的频率调整每个模型的训练权重，从而平衡推理任务。

∙ 最小化加权损失函数：建议的算法旨在最小化来自不同客户端的损失加权总和。权重基于推理请求的频率，可能因每个客户端的计算能力而异。

-计算能力强的客户提供协助：计算能力强的客户根据预设概率参与模型训练，以协助计算能力较弱的客户。这可以提高模型的整体性能，保证推理的准确性。

试验

为了评估所提出的联合学习算法的性能，我们在 CIFAR-10 数据集上进行了详细的实验。这些实验是在考虑到不同客户端数据可用性和推理请求频率差异的环境下进行的，目的是验证所提算法的性能和适应性。

实验数据集

使用的主要数据集是 CIFAR-10，这是一个通常用于图像识别任务的数据集。在实验中，数据集分布在不同的云、边缘和设备拓扑结构中，以便在每个环境中训练和推断模型。

与基线模型的比较

我们将提议的算法与现有的联合学习算法进行了比较，并对其性能进行了评估。特别是，它与 FedAvg 和 FedProx 等流行的联合学习算法进行了比较，目的是让所提出的方法比这些算法显示出更好的适应性和性能。

绩效评估结果（表 2）

实验结果显示了使用 CIFAR-10 数据集在不同客户端设置下的推理性能。这证实了所提出的算法在解决客户端数据异质性问题的同时，提高了整体推理任务的效率。

验证理论保证

实验证明，所提出的算法实现了理论上预测的性能提升。这表明，该算法能够在不同的客户端环境中保持一致的推理性能。

这些实验结果表明，针对分布式环境中的推理任务，所提出的联合学习算法是一种实用而有效的解决方案，表明它可以广泛应用于 CIS 环境。

结论

本研究提出了一种专门用于协作推理系统（CIS）的新型联合学习（FL）框架。该方法根据每个客户端的服务交付率调整模型的训练，同时考虑到推理请求的频率和客户端之间数据可用性的差异，从而优化整体推理性能。通过实验，与传统的 FL 方法相比，所提出的算法显示出更优越的性能，为在异构设备环境中进行高效推理提供了可能。