Transformer中，Fisher矩阵与权重之间关系

目录

• • Transformer中，Fisher矩阵与权重之间关系
  • • 一、Fisher矩阵与Transformer权重的关系
    • 二、Fisher矩阵的更新方式
    • 三、举例说明
  • 给出案例：Transformer权重矩阵，Fisher矩阵，说明对应关系和怎么更新
  • 二阶导数计算需要大量算力有什么方法替代？
  • • **案例：基于Transformer的情感分类模型**
    • **1. Transformer权重矩阵与Fisher矩阵的对应关系**
    • **2. 权重矩阵与Fisher矩阵的更新**
    • • **Transformer权重更新**
      • **Fisher矩阵更新**
    • **3. 替代二阶导数计算的方法**
    • • **方法1：有限差分近似**
      • **方法2：矩阵-向量乘积（共轭梯度法）**
      • **方法3：自然梯度下降（利用Fisher矩阵）**
    • **总结**
  • 数字举例
  • • **案例设定**
    • **1. 计算输出概率**
    • • **步骤1：注意力计算**
      • **步骤2：注意力得分与输出**
      • **步骤3：输出分类**
  • 为什么0.45 是y=1.不是-0.375
  • • **2. 计算梯度与Fisher矩阵**
    • • **损失函数**：交叉熵
      • **梯度计算**
      • **Fisher矩阵元素计算**
    • **3. 权重矩阵与Fisher矩阵的对应关系**
    • **4. 权重更新与Fisher矩阵的应用**
    • • **自然梯度更新（使用Fisher矩阵）**
    • **总结**