历史篇| 语言模型发展进程
《【小白入门篇1】GPT到底是怎样练成？》介绍过大语言模型的工作原理就是预测下个词的概率, 其实语言模型从最初开始定义就是一种对令牌序列(token)的概率分布。假设有一个令牌集的词汇表 V 。语言模型p为每个令牌序列 x1,...,xL ∈ V 分配一个概率（介于0和1之间的数字).
从数学视角来看, 语言模型是一个非常简单而又美妙的对象, 但是现实很难利用这个概率模型, 赋予所有序列以（有意义的）概率的能力，该能力要求语言模型具有非凡的（但是隐含的）语言能力和世界知识。语言模型不仅有语法识别能力, 更有语义识别能力.
比如“人吃饭”与“饭吃人”, 在语法视角都是符合主谓宾语结构,但在语义上却存在差异，而语言模型需要具备卓越的语言能力和世界知识，才能准确评估序列的概率。