AI大模型的基本流程
这篇文章主要是记录自己的问题,虽然说AI大数据模型已经出现了很久,但是一直找不到它与企业的关系,因为有ghat gpt,只要应用这个人工智能就可以了,所以思想一直没有转变过来。
昨天梳理了一下AI大数据的模型,解答了我的疑问。下面总结一下AI大模型的流程。
1、各个企业需要建立自己的AI模型,这个AI模型的建立是基于大语言模型(基础模型GHAT GPT Qianwen ollama等)。
2、企业收集各个方面的语料 比如:数据库 文档 平台等。
3、收集的语料通过数据管道,形成企业文化知识库。
4、数据管道需要将数据进行模型训练加入到基础语言模型中。
5、企业根据知识库构建自己的企业AI应用。
再构建企业AI的时候,主要的工作就是模型的微调,新模型的训练,主要是利用微调算法进行模型微调。
企业知识库建立
基本概念 大模型(基础模型 )提示工程 RAG 微调
大模型也就是基础模型,但是这个模型不会回答自己企业的问题,因为这个模型在训练的时候,没有相关企业的数据信息。