ChatGPT中的RAG;大模型微调;通过正确的提问和回答数据进行问答系统的微调;
目录
ChatGPT中的RAG
1.检索器:
2.生成器:
3.结合使用:
大模型微调
通过正确的提问和回答数据进行问答系统的微调
ChatGPT中的RAG
在ChatGPT中,RAG(Retrieval-Augmented Generation)是一种结合了检索与生成的技术,旨在提高模型的回答质量和准确性。
RAG模型通常由两个主要组件组成:检索器和生成器。
1.检索器:
RAG的检索器从一个外部知识库中检索相关信息。这个知识库可以是各种数据源,包括文档集、数据库或互联网信息。具体使用的知识库可能包括:
维基百科:经常用作知识库,因为它包含大量的结构化信息。专用领域文档:针对特定领域(如医学、法律等)可能会使用相应的文档集。企业内部知识库:一些应用可能会接入企业内部的数据源,以提供更符合业务需求的回答
2.生成器:
生成器基于检索到的信息来生成最终的回答。生成器通常是一个大型语言模型(如GPT),其训练是基于大规模文本数据,能够理解和生成自然语