当前位置: 首页 > article >正文

DataWhale大语言模型-大模型技术基础

DataWhale大语言模型-大模型技术基础

  • 什么是大语言模型
    • 预训练和后训练之间的对比
    • 大模型预训练(Pre-training)
    • 大语言模型后训练(Post-Training)
      • 指令微调(Instruction Tuning)
      • 人类对齐(Human Alignment)
    • 扩展定律
      • KM扩展定律
      • Chinchilla扩展定律
      • 深入讨论
  • 涌现能力
    • 代表性能力
      • 指令遵循(Instruction Following)
      • 上下文学习(In-context Learning)
      • 逐步推理
  • 涌现能力与扩展定律的关系
  • 参考资料

什么是大语言模型

  • 定义:通常是指具有超大规模参数的预训练语言模型

与传统的语言模型相比,大语言模型的构建过程涉及到更为复杂的训练方法,进而展现了强大的自然语言理解能力和复杂任务求解能力(通过文本生成的形式)

  • 架构:主要作为Transformer解码器的架构
  • 训练:训练的内容包括预训练(base model)和后训练(instruct model)
    在这里插入图片描述

预训练和后训练之间的对比

在这里插入图片描述

大模型预训练(Pre-training)

  • 利用与下游任务无关的大规模数据进行模型参数的初始训练

主要的工作任务可以分成以下步骤:

  • 解码器架构+预测下一个词:这是由于GPT系列模型的出圈,该方法得到了有效的验证,已经成为了主流的大语言模型的技术路径
  • 大量的高质量的数据:为了预训练大语言模型需要进行大规模的文本数据,所以数据的数量,数据质量都是十分关键的

目前预训练的过程考虑各种细节,所以需要研发人员有丰富的训练经验和异常处理的能力,从而避免算力资源的浪费,提高模型预训练的成功几率

大语言模型后训练(Post-Training)

这一步可以理解为将一个泛化能力很强的模型不断去精修某一门技术,达到完成指定任务的能力,这一过程可以理解为大模型的微调过程
目前来讲比较常见的微调技术被称为指令微调SFT

指令微调(Instruction Tuning)

  • 使用输入与输出配对的指令数据对模型进行微调
  • 提升模型通过问答模式进行任务求解的能力
    在这里插入图片描述

人类对齐(Human Alignment)

除了要提升任务的解决能力,还需要将大语言模型与人类的期望,需求以及价值观对齐,这对于大模型的部署与应用具有重要的意义

  • 将大语言模型与人类的期望,需求以及价值观对齐
  • 基于人类反馈的强化学习对齐方法(RLHF)

在RLHF算法当中,需要标注人员针对大语言模型所生成的多条输出进行偏好排序,并使用偏好数据训练奖励模型,用于判断模型的输出质量
在这里插入图片描述

扩展定律

  • 通过扩展参数规模以及数据规模和计算算力,大语言模型的能力会出现显著的提升
  • 扩展定律在本次大模型的浪潮当中起到了至关重要的作用
    也就是说通过扩展带来的性能提升通常显著高于通过改进架构以及算法等方面所带来的改进,使得大语言模型的能力超越了小语言模型的能力
    在这里插入图片描述

KM扩展定律

由OpenAI团队所提出,首次建立了神经语言模型性能与参数规模(N),**数据规模(D)计算算力©**之间的幂律关系

在这里插入图片描述
L ( ⋅ ) L(\cdot) L()用来表示以 n a t nat nat(用来表示以 e e e为底信息量的自然对数)为单位的交叉熵损失,其中 N c , D c , C c N_c,D_c,C_c Nc,Dc,Cc是实验性常数数值,分别对应于非嵌入参数的数量,训练数据数量以及实际的算力开销

Chinchilla扩展定律

由DeepMind团队所提出的另一种形式的扩展定律

在这里插入图片描述
其中 a a a b b b决定了参数规模以及数据规模的资源分配优先级

  • 当a>b时,应该用更多的算力来提高参数规模
  • 当b>a时,应该利用更多的算力来提高数据规模

深入讨论

在这里插入图片描述
可预测扩展可以简单的理解为可以通过训练一个小模型去预测一个大模型的性能,这种方法其实很明显的问题就在于,模型的参数量大了的话那么很容易出现预测失败的问题
在这里插入图片描述
由于扩展法制存在一定的局限性,当模型的大小超过一定规模的时候,需要提出以下方法–涌现能力

涌现能力

非形式化的定义:在小型的模型当中并不存在但是在大模型当中出现的能力
这里可以我认为(不严谨哈)可以这样说:量变所引起的质变,由于模型的扩展超过一定的规模,使其能力得到了一定的提升(可以说是跃升)

在这里插入图片描述

代表性能力

也就是具有普遍性的一些能力

指令遵循(Instruction Following)

  • 大语言模型能够按照自然语言的指令来执行对应的任务
  • 可以通过高质量指令数据微调的方式习得一定的通用指令遵循能力
    在这里插入图片描述

上下文学习(In-context Learning)

  • 在提示当中为语言模型提供自然语言指令和任务示例,无需显式的训练或者梯度更新,仅通过输入文本的单词序列就能为测试样本生成预测的输出
    在这里插入图片描述

逐步推理

在大语言模型当中利用思维链的提示策略来加强推理性能

  • 在提示当中引入任务相关的中间推理步骤来加强复杂任务的求解,从而获得更加可靠的答案
    在这里插入图片描述

涌现能力与扩展定律的关系

在这里插入图片描述

参考资料

Datawhale学习链接:https://www.datawhale.cn/learn/content/107/3287


http://www.kler.cn/a/586898.html

相关文章:

  • prometheus-helm的使用
  • Compose 实践与探索十 —— 其他预先处理的 Modifier
  • Java面试八股—Redis篇
  • C# WPF 串口通信
  • 【fNIRS可视化学习1】基于NIRS-SPM进行光极可视化并计算通道坐标
  • 【Git学习笔记】Git结构原理及其分支管理模型分析
  • Ubuntu下管理多个GCC版本
  • 【数据分享】2000—2024年我国省市县三级逐月归一化植被指数(NDVI)数据(Shp/Excel格式)
  • 深入解析java Socket通信中的粘包与拆包问题及解决方案(中)
  • python 实现 A* 算法
  • 某大厂自动化工程师面试题
  • C语言每日一练——day_8
  • Qwen2.5的注意力秘籍:解锁高效模型的钥匙,分组查询注意力机制
  • .NET 9 中 OpenAPI 替代 Swagger 文档生成
  • apt-get update命令与apt update命令的区别
  • Assembly语言的安全开发
  • AI日报 - 2025年3月16日
  • 深入理解C/C++堆数据结构:从原理到实战
  • netsh实现TCP端口转发
  • 【Mapbox】介绍及基本使用