联邦大语言模型典型系统： FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub
联邦大语言模型典型系统： FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub
目录
-
- 联邦大语言模型典型系统： FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub
- PEFT 技术及简单举例
- PEFT 技术代码实现
- 提示词工程不仅仅在聊天对话框实现，还可以再代码中实现
联邦大语言模型典型系统包括 FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub 联邦语言大模型、OpenFedLLM 和 FedLLM - Bench 等，以下是这些系统的原理及举例说明：
-
FATE - LLM：这是一个工业级联邦学习框架。它包含三个组件，Communication - Efficient Hub 将多种 PEFT 方法（如 Adapter、Prompt、KD 和 Quantization 等）集成到 FedLLM 中，通过减少客户端的局部模型参数和模型存储大小来实现传输优化；
-
FedLLM Model Hub 集成了多种主流 LLM（如 BERT、GPTs、LLaMA 等）以适应不同场景；FedLLM Privacy Hub 则运用安全聚合、差分隐私和多方计算等技术保护数据隐私和模型安全。例如，在实际应用中，它