当前位置： 首页 > article >正文

联邦协作训练大模型的一些研究进展

article 2025/1/5 4:45:25

联邦协作训练大模型的一些研究进展：

架构与框架创新

  • 凝聚联邦学习框架：中科院计算所等团队提出的凝聚联邦学习框架，借助端边云协同，通过桥接样本在线蒸馏协议，组织树状拓扑的算力网，实现不同层级节点间模型无关的协同训练，使各层级可依本地算力训练合适模型，云端最终集成知识训练超大模型，且节点可灵活切换父节点，提升了模型精度与收敛性.
  • FATE-LLM架构：采用先进分布式训练框架，能在不共享原始数据的情况下进行模型训练与推理，有效保护数据隐私，结合多种隐私保护技术，如差分隐私等，进一步降低信息泄露风险.在这里插入图片描述

训练方法改进

  • 面向大模型神经架构搜索的联邦协同训练方法：在云端进行神经架构搜索，将大模型拆分为残差块作为搜索空间拼凑最优架构，再切分为适合边缘设备的小模型分配训练，通过距离聚合与知识蒸馏聚合参数至云端，并设计节能机制调整边缘设备训练迭代次数加速收敛&#

http://www.kler.cn/a/458912.html

相关文章：

  • 深入 Redis：高级特性与最佳实践
  • Linux Red Hat 7.9 Server安装GitLab
  • Kafka3.x KRaft 模式 (没有zookeeper) 常用命令
  • Qt|QWidget窗口支持旋转
  • Sublime Text4 4189 安装激活【 2025年1月3日 亲测可用】
  • 办公 三之 Excel 数据限定录入与格式变换
  • 【LC】3159. 查询数组中元素的出现位置
  • mac docker部署jar包流程
  • 循环服务器
  • [Bert] 提取特征之后训练模型报梯度图错误
  • Effective C++ 条款42：了解 typename 的双重意义
  • 玉米中的元基因调控网络突出了功能上相关的调控相互作用。\ca.19a5.R
  • vue项目利用webpack进行优化案例
  • 小米路由器开启SSH，配置阿里云ddns，开启外网访问SSH和WEB管理界面
  • SAP-MM-物资库存调度调剂清单
  • 深入探讨C++中的互斥锁管理：`std::lock_guard`与`std::unique_lock`
  • C++ 设计模式：模板方法（Template Method）
  • Zookeeper中version-2目录下存放数据
  • 生态碳汇涡度相关监测与通量数据分析实践技术应用
  • mysql一个表只能由一个自动递增列吗
  • CKA认证 | Day7 K8s存储
  • 封装一个自己的JS或TS库，并发布到npm上
  • 网络基础入门到深入(2):网络协议-TCP/IP协议栈
  • PowerShell 常见问题解答
  • 深度学习工作：从追求 SoTA 到揭示新现象
  • 数据库的概念和操作