大语言模型基础--task2：大模型技术基础

1.3   大语言模型关键技术概览

从早期的统计语言模型到大语言模型，科研人员进行了一系列的技术探索，从 而实现了模型能力的显著提升。下面将概括性地介绍一下大语言模型能够取得重 要进展背后的关键技术。具体的技术细节可以参考本书后续章节的详细介绍。

• 规模扩展. 规模扩展是大语言模型的一个关键成功因素。研究人员发现这些超大规模语言模型能够展现出一些小型语言模型不具备的能力特点，如上下文学习能力、思 维链能力等，这也成为区分上一代预训练语言模型与大语言模型的重要标 志。早期的研究主要关注模型参数规模所带来的性能优势，最近的工作则是加大 对于高质量数据的规模扩展。针对十亿级别（如 2B 或 7B）参数的模型使用超大 规模的数据（如 2T 或 3T 词元）进行训练，仍然可能无法达到这些模型的最大数 据容量。实现规模扩展的关键在于模型架构的可扩展性。Transformer 模型的可扩 展性非常强，对于硬件并行优化的支持也比较友好，特别适合大语言模型的研发， 很多工作也在进一步针对其进行优化与改进。

• 数据工程. 目前来说，数 据工程主要包括三个方面。首先，需要对于数据进行全面的采集，拓宽高质量的 数据来源；其次，需要对于收集到的数据进行精细的清洗，尽量提升用于大模型训练的数据质量；第三，需要设计有效的数据配比与数据课程，加强模型对于数 据语义信息的利用效率。这三个方面的数据工程技术直接决定了最后大语言模型 的性能水平。目前来说，针对英文的开源高质量数据集合比较丰富，相关的数据 工程技术讨论也相对较多，但是对于其他语言的研究关注度还有待进一步加强。

• 高效预训练. 与传统预训练语言模型相比，成功训练出一个性能较强的大语 言模型极具挑战性。由于参数规模巨大，需要使用大规模分布式训练算法优化大语言模型的神经网络参数。在训练过程中，需要联合使用各种并行策略以及效率 优化方法，包括 3D 并行、ZeRO等。为了有效支持分布式训练，很多研究机构发布了专用的分布式 优化框架来简化并行算法的实现与部署，它们能够有效支持千卡甚至万卡的联合训练。在实现上，大语言模型的训练过程需要搭建一个全栈式的优化体系架构，能够支持大规模预训练数据的调度安排，建立起可迭代的模型性能改进闭环，加强效果反馈机制，从而能够快速、灵活地进行相关训练策略的调整。由于大语言模型的 训练需要耗费大量的算力资源，通常需要开展基于小模型的沙盒测试实验，进而 确定面向大模型的最终训练策略。研发过程需要关注较为实用的优化技巧，提升训练稳定性和优化效率，如混合精度训练。

• 能力激发. 大语言模型经过超大规模数据的预训练后，能够编码大量的文本 语义知识信息。然而，这个阶段的模型能力仍然是通过通用的下一个词预测任务 建立的，主要目的是为了进行预训练文本数据的恢复。为了提升模型的任务求解能力，需要设计合适的指令微调以及提示策略进行激发或诱导。在指令微调方面， 可以使用自然语言表达的任务描述以及期望的任务输出对于大语言模型进行指令 微调，从而增强大语言模型的通用任务求解能力，提升模型在未见任务上的泛化 能力。通常来说，现有的研究认为指令微调无法向大模型注入新的知识，而是训练 大模型学会利用自身所掌握的知识与信息进行任务的求解。在提示学习方面，需要设计合适的提示策略去诱导大语言模型生成正确的问题答案。为此，研究人员 提出了多种高级提示策略，包括上下文学习、思维链提示等，通过构建特殊的提 示模板或者表述形式来提升大语言模型对于复杂任务的求解能力。提示工程已经 成为利用大语言模型能力的一个重要技术途径。进一步，大语言模型还具有较好的规划能力，能够针对复杂任务生成逐步求解的解决方案，从而简化通过单一步 骤直接求解任务的难度，进一步提升模型在复杂任务上的表现。

• 人类对齐.互联网上开放的无标注文本数据的内容覆盖范围较广，可能包 含低质量、个人隐私、事实错误的数据信息。因此，经过海量无标注文本预训练 的大语言模型可能会生成有偏见、泄露隐私甚至对人类有害的内容。在实践应用中，需要保证大语言模型能够较好地符合人类的价值观。目前，比较具有代表性 的对齐标准是“3 H 对齐标准”，即 Helpfulness（有用性）、Honesty（诚实性）和 Harmlessness（无害性）。与传统的任务优化目标不同，这三个对齐标准一定程度 上都与人类主观感知相关，很难直接建立形式化的特定优化目标。为了解决这一问题，OpenAI 提出了基于人类反馈的强化学习算法，将人类偏好引入到大模型的对齐过程中：首先训练能够区分模型输出质量好坏的奖励模型，进而使用强化学习算法来指导语言模 型输出行为的调整，让大语言模型能够生成符合人类预期的输出。由于强化学习 算法的优化过程较为复杂，最近学术界开始涌现出一批使用监督微调的对齐方式。OpenAI专门发布了“超级对齐”的研究项目，旨在研究如何监管具有强人工智能能力的算法。

• 工具使用由于大语言模型的能力主要是通过大规模文本数据的语义学习 所建立的，因此在非自然语言形式的任务（如数值计算）中能力较为受限。此外， 语言模型的能力也受限于预训练数据所提供的信息，无法有效推断出超过数据时间范围以及覆盖内容的语义信息。为了解决上述问题，工具学习成为一种扩展大 语言模型能力的关键技术，通过让大语言模型学会使用各种工具的调用方 式，进而利用合适的工具去实现特定的功能需求。在技术路径上，工具调用能力主要是通过指令微调以及提示学习两种途径实 现，而未经历过特殊训练或者缺乏有效提示的大语言模型则很难有效利用候选工 具。本质上来说，工具使用这一思想来源于人类行为的启发，人类能够充分利用各种外部工具来提升某种特定技能。例如，人类发明了汽车，能够有效缩短通勤 的往返时间。随着应用范围的不断拓展，创建广泛的、可供大模型使用的工具资 源变得愈为重要。

• 自然语言处理. 在自然语言处理领域，大语言模型可以作为一种通用的语言 任务解决技术，能够通过特定的提示方式解决不同类型的任务，并且能够取得较 为领先的效果。进一步，很多传统任务的研究意义在衰减，甚至有些任务被宣告“结束”（如摘要任务），研究范式开始全面转向大语言模型技术，研究人员的关注 重点由“解决特定任务”迁移到“如何进一步提升大语言模型的综合能力”。语言 智能开始成为主导人工智能发展方向的重要路径。

• 信息检索. 在信息检索领域，传统搜索引擎受到了人工智能信息助手（即 ChatGPT）这一新型信息获取方式的冲击。在基于大语言模型的信息系统中，人们 可以通过自然语言对话的形式获得复杂问题的答案。微软也推出了基于大语言模 型增强的搜索引擎 New Bing，将大语言模型与传统搜索引擎进行融合。但是，目 前大语言模型信息系统的精确性与实时性还有待提升，无法完全胜任现有搜索引 擎的角色。鉴于大语言模型与搜索引擎各自的优势，信息检索领域主要关注两个新兴方向的研究，即检索增强的大语言模型以及大语言模型增强的搜索系统，全 面围绕大语言模型技术展开。

• 计算机视觉. 在计算机视觉领域，研究人员为了更好地解决跨模态或多模态 任务，正着力研发类 ChatGPT 的视觉-语言联合对话模型，GPT-4 已经能够支持图 文多模态信息的输入。由于开源大语言模型的出现，可以极大地简化多模态模型 的实现难度，通过将图像、视频等模态的信息与文本语义空间相融合，可以通过计算量相对较少的微调方法来研发多模态大语言模型。进一步，基于下一个词元 预测的思路也可能会带来多模态领域的基础模型架构的转变，例如 OpenAI 最新 推出的 Sora 模型就是基于图像块序列建模的思路进行构建的。

• 人工智能赋能的科学研究（AI4Science）.  近年来，AI4Science 受到了学术界的广泛关注，目前大语言模型技术已经广泛应用于数学、化学、物理、生物等 多个领域，基于其强大的模型能力赋能科学研究。例如，著名数学家陶哲轩曾多次在社交网络表示，他在数学科研中广泛使用大语言模型，用于辅助提供解题灵 感甚至用于论文的撰写。此外，大语言模型也多次被证明在新材料发现、生物制 药等多个方面都能起到一定的促进作用。随着大语言模型训练数据规模与范围的 扩展，在未来将会在人类科学研究中扮演更为重要的角色。

除了在特定学科领域的应用，大语言模型对于整体的科研范式也正产生着重要影响。为了有效提升大模型的性能，研究人员需要深入了解大模型相关的工程 技术，对于理论与实践的结合提出了更高的需求。例如，训练大模型具备大规模 数据处理与分布式并行训练方面的实践经验。进一步，大语言模型将改变人类开 发和使用人工智能算法的方式。与小型预训练语言模型不同，访问大语言模型的 主要方法是通过提示接口（Prompting Interface），

大语言模型对于产业应用带来了变革性的技术影响，将会催生一个基于大语言模型的应用生态系统。在未来，将出现更多的以大语言模型为基础技术架构的科技应用产品，简化原来繁复的功能处理流程，加快软件研发周期，极大地改善用户体验。

2.1.2  指令微调与人类对齐

经过大规模数据预训练后的语言模型已经具备较强的模型能力，能够编码丰 富的世界知识，但是由于预训练任务形式所限，这些模型更擅长于文本补全，并 不适合直接解决具体的任务。尽管可以通过上下文学习（In-Context Learning, ICL） 等提示学习技术进行适配，但是模型自身对于任务的感知与解决能力仍然较为局 限。这里做一个简单的类比。预训练后的模型就像进入工作岗位的毕业生，尽管 学习了很多通用的文化课，具备了一定的实习经验，但是仍然需要加强面向特定 岗位的工作能力，并且深入了解工作岗位所涉及的相关要求。因此，用人单位往 往需要设置特定的培训环节，对于新入职的人员针对业务场景以及所需要的技术 进行专门提升。相似地，当预训练结束后，通常需要对于大语言模型进行微调与 对齐，使之更好地被用于任务求解，为人类服务。

目前来说，比较广泛使用的微调技术是“指令微调”（也叫做有监督微调， Supervised Fine-tuning, SFT），通过使用任务输入与输出的配对数据进行模型训练， 可以使得语言模型较好地掌握通过问答形式进行任务求解的能力。这种模仿示例 数据进行学习的过程本质属于机器学习中的模仿学习（Imitation Learning）。给定 一个特定任务，虽然可能存在很多解答方式，模仿学习旨在加强对于标准答案（即 师傅的示范动作）的复刻学习。一般来说，指令微调很难教会大语言模型预训练 阶段没有学习到的知识与能力，它主要起到了对于模型能力的激发作用，而不是 知识注入作用。与预训练相比，指令微调通常来说需要的指令实例数据规模要小 的多。通常来说，数十万到百万规模的指令微调数据能够有效地激发语言模型的通用任务解决能力，甚至有些工作认为数千条或者数万条高质量指令数据也能达 到不错的微调效果。因此，指令微调对于算力资源的需求相对较小。一般情况下， 若干台单机八卡（A100-80G）的服务器就能在一天或数天的时间内完成百亿模型 的指令微调，当指令数据规模较大的时候可以进一步增加所需要的算力资源。这 个过程还可以进一步加入多轮次的对话数据来增强模型的人机对话能力。

除了提升任务的解决能力外，还需要将大语言模型与人类的期望、需求以及价值观对齐，这对于大模型的部署与应用具有重要的意义。OpenAI 在 2022 年初发布了 InstructGPT的学术论文，系统地介绍了如何将语言模型 进行人类对齐。引入了基于人类反馈的强化学习对齐方法 RLHF（Reinforcement Learning from Human Feedback），在指令微调后使用强化学习加 强模型的对齐能力。在 RLHF 算法中，需要训练一个符合人类价值观的奖励模型（Reward Model）。为此，需要标注人员针对大语言模型所生成的多条输出进行偏 好排序，并使用偏好数据训练奖励模型，用于判断模型的输出质量。由于强化学 习需要维护更多的辅助模型进行训练，通常来说对于资源的消耗会多于指令微调， 但是也远小于预训练阶段所需要的算力资源。目前还有很多工作试图通过消除奖 励模型的使用，或其他使用 SFT 方式来达到与 RLHF 相似的效果，从而简化模型 的对齐过程。

DeepMind 团队于 2022 年提出了一种可选的扩展法则， 旨在指导大语言模型充分利用给定的算力资源进行优化训练。通过针对更大范围 的模型规模（70M 到 16B 参数）和数据规模（5B 到 500B 词元）进行实验，研究 人员拟合得到了另一种关于模型性能的幂律关系：

即当算力 C给定的情况下，最优的模型参数规模和数据规模由指数系数 a和 b分 别确定。可以看到，a和 b 决定了参数规模和数据规模的资源分配优先级：当 a> b 时，应该用更多的算力去提高参数规模；当 b> a时，应该用更多的算力去提高 数据规模。尽管 KM 扩展法则和 Chinchilla 扩展法则具有相似的公式形式，但是在 模型规模和数据规模的扩展上存在一定的差异。随着算力预算的增加，KM 扩展 法则倾向于将更大的预算分配给模型规模的增加，而不是分配给数据规模的增加；而 Chinchilla 扩展法则主张两种规模参数应该以等比 例关系增加。

Chinchilla 扩展法则这项研究的意义并不在于给出了资源在数据规模与模型规模上的具体分配方案，而是首次形式化指出了之前的预训练工作可能忽视了训练 数据的规模扩展。根据 Chinchilla 扩展 法则的指导，DeepMind 的研究团队进一步训练得到了具有 70B 参数的 Chinchilla 模型，使用大概 1.4T 的词元进行训练。越来越多的工作表明，现有的预训练语言模型对于数据的 需求量远高于这些扩展法则中所给出的估计规模。Transformer 架构具有较好的数据扩展性，到目前为止，还没有实验能够有效验证特定参数规模语言模型的饱和数据规模（即随着数据规模的扩展，模型性能不再提升）。

2.2.3  关于扩展法则的讨论

在介绍完上述两个扩展法则后，我们围绕可预测的扩展以及任务层面的可预 测性展开深入讨论，以加强读者对于扩展法则的理解。

• 可预测的扩展（Predictable Scaling）：在实践中，扩展法则可以用于指导大 语言模型的训练，通过较小算力资源可靠地估计较大算力资源投入后的模型性能， 这被称为可预测的扩展。这种可预测性主要体现在两个方面：使用小模型的 性能去预估大模型的性能，或者使用大模型的早期训练性能去估计训练完成后的性能。可预测扩展对于大模型训练具有两个主要的指导作用。首先，对于大语言 模型来说，详细进行各种训练技巧或变体的测试需要耗费巨大的算力资源。因此， 一个较为理想的经验性方法是，基于小模型获得训练经验然后应用于大模型的训 练，从而减少实验成本。例如，可以训练小型代理模型来确定适合大型模型的预 训练数据混合的最佳比例。其次，大语言模型的训练过程较长，经常面临着 训练损失波动情况，扩展法则可以用于监控大语言模型的训练状态，如在早期识 别异常性能。尽管扩展法则刻画了模型性能增长（或模型损失减少）的平滑趋势， 但是指数形式的变化趋势意味着可能会出现随规模扩展的收益递减情况，即后期 的扩展增益开始变得缓慢甚至停滞。根据 OpenAI 团队的一项研究表明 ，即使 接近递减收益点，模型表征的质量仍 然能够随着规模扩展而有效提升。这一发现表明，训练大型模型对于改善下 游任务的性能是非常重要的。随着模型规模的不断增加，一个潜在问题是可供用 来训练大语言模型的数据量实际上是有限的，公共文本数据将很快变得“枯竭”。 因此，如何在数据受限的情况下建模扩展法则，仍然具有重要的实践意义。在这一情况下，数据重复或数据合成可能有助于缓解数据稀缺问题。

• 任务层面的可预测性. 现有关于扩展法则的研究大多数是基于语言建模损失开展的，例如预测下一个词元的平均交叉熵损失，这一度量本身是平滑的，是 对于模型整体能力的宏观度量。在实践中，我们则更关注大语言模型在真实任务 中的性能提升。为了建立扩展法则与模型任务性能的关联，一个基础问题就是语 言建模损失的减少是否真正意味着（或对应着）真实任务上模型性能的提高。 整体上来说，语言建模损失较小的模型往往在下游任务中表现更好，因为语言建模的能力可以被认为是一种模型整体能力的综合度量。然而，语言建模损失的减 少并不总是意味着模型在下游任务上的性能改善。对于某些特殊任务，甚至会出 现“逆向扩展”（Inverse Scaling）现象，即随着语言建模损失的降低，任务性能却出人意料地变差。总体而言，探索和描述任务层面的扩展法则更加困难，因为它可能还依赖于任务相关的信息（如任务指标、任务难度等）。