全面解析LLM业务落地:RAG技术的创新应用、ReAct的智能化实践及基于业务场景的评估框架设计
1. 如何让LLM更好的业务落地常见方法
-
等待新的大型模型版本:但是,每个新版本也会有时间限制。
-
自己训练模型:这种方法成本高昂且耗时,需要大量基础设施。它也只是一个临时解决方案。
-
LoRA(低秩自适应)微调:这种方法更简单、更便宜,可以更频繁地进行,但不能在线进行。模型参数无法动态更新。
-
RAG(检索增强生成):RAG-Graph 和 RAG Light 等变体允许您根据提供的文档添加知识,使用最新信息增强模型的响应。
-
ReAct(推理和行动):这种方法使 LLM 能够与外部工具交互以检索更多信息,从而获得更可靠和更真实的响应
1.1 LoRA 微调:(离线升级,时间和数据受限)
微调使我们能够将预先训练的 LLM(已经对语言有很强的理解)调整到特定任务,例如翻译语言、生成代码或编写创意内容。传统的微调方法在计算上可能很昂