LLM基础概念：模型训练
模型训练指的是什么：
神经网络模型可以认为是一个非常复杂的数学公式，模型本质有一系列矩阵参数构成。所谓训练，就是给这些参数分配了合适的值。
LLM输入是一段文本，输出也是一段文本，模型训练就是学习输入和输出的映射关系y=f(x)
大模型训练的两个主要阶段：
- 预训练
-
- 从输入的文本预测下一个字符
- 根据输出不断调整模型参数
- 海量数据训练，得到固定的参数
- 微调训练(supervised fine tuning，SFT)
-
- 根据少量高质量对话数据，让模型变得更符合人们对对话的形式
- 根据业务输入和输出，让模型学习特定领域的知识