当前位置: 首页 > article >正文

十种处理权重矩阵的方法及数学公式

1. 权重归一化(Weight Normalization)

  • 目的:通过分离权重向量的范数和方向来加速训练。
  • 公式:对于权重向量 w \mathbf{w} w,归一化后的权重 w ′ \mathbf{w}' w 为:

w ′ = w ∥ w ∥ \mathbf{w}' = \frac{\mathbf{w}}{\|\mathbf{w}\|} w=ww

其中 ∥ w ∥ \|\mathbf{w}\| w w \mathbf{w} w 的欧几里得范数。

2. 谱归一化(Spectral Normalization)

  • 目的:通过控制权重矩阵的谱范数,稳定生成对抗网络(GANs)的训练。
  • 公式:对于权重矩阵 W W W,谱归一化后的矩阵 W ′ W' W 为:

W ′ = W σ ( W ) W' = \frac{W}{\sigma(W)} W=σ(W)W

其中 σ ( W ) \sigma(W) σ(W) W W W 的谱范数,即最大奇异值。

3. 权重衰减(Weight Decay)

  • 目的:通过正则化防止过拟合。
  • 公式:权重更新时加入正则化项:

w ← w − η ( ∂ L ∂ w + λ w ) \mathbf{w} \leftarrow \mathbf{w} - \eta \left( \frac{\partial L}{\partial \mathbf{w}} + \lambda \mathbf{w} \right) wwη(wL+λw)

其中 η \eta η 是学习率, L L L 是损失函数, λ \lambda λ 是正则化参数。

4. 权重剪裁(Weight Clipping)

  • 目的:限制权重范围以稳定训练。
  • 公式:对于权重 w w w,剪裁后的权重 w ′ w' w 为:

w ′ = { c if  w > c − c if  w < − c w otherwise w' = \begin{cases} c & \text{if } w > c \\ -c & \text{if } w < -c \\ w & \text{otherwise} \end{cases} w= ccwif w>cif w<cotherwise

其中 c c c 是预定义阈值。

5. 权重共享(Weight Sharing)

  • 目的:减少参数数量,提高泛化能力,常用于卷积神经网络(CNNs)。
  • 公式:在CNN中,同一卷积核的权重在输入上共享,具体实现依赖卷积操作。

6. 权重初始化(Weight Initialization)

  • 目的:合理初始化权重以加速训练并避免梯度问题。
  • 公式
    • Xavier初始化

W ∼ N ( 0 , 2 n in + n out ) W \sim \mathcal{N}\left(0, \frac{2}{n_{\text{in}} + n_{\text{out}}}\right) WN(0,nin+nout2)

  • He初始化

W ∼ N ( 0 , 2 n in ) W \sim \mathcal{N}\left(0, \frac{2}{n_{\text{in}}}\right) WN(0,nin2)

其中 $n_{\text{in}}$ 和 $n_{\text{out}}$ 分别是输入和输出单元数。

7. 批归一化(Batch Normalization)

  • 目的:归一化层的输入以加速训练并提高稳定性。
  • 公式:对于小批量 B = { x 1 , … , x m } \mathcal{B} = \{x_1, \ldots, x_m\} B={x1,,xm},输出为:

x ^ i = x i − μ B σ B 2 + ϵ \hat{x}_i = \frac{x_i - \mu_{\mathcal{B}}}{\sqrt{\sigma_{\mathcal{B}}^2 + \epsilon}} x^i=σB2+ϵ xiμB

其中 μ B \mu_{\mathcal{B}} μB σ B 2 \sigma_{\mathcal{B}}^2 σB2 是小批量的均值和方差, ϵ \epsilon ϵ 避免除零。

8. 层归一化(Layer Normalization)

  • 目的:对每个样本的特征归一化,适用于RNNs等。
  • 公式:对于特征向量 x \mathbf{x} x,输出为:

x ^ = x − μ σ 2 + ϵ \hat{\mathbf{x}} = \frac{\mathbf{x} - \mu}{\sqrt{\sigma^2 + \epsilon}} x^=σ2+ϵ xμ

其中 μ \mu μ σ 2 \sigma^2 σ2 x \mathbf{x} x 的均值和方差。

9. 权重量化(Weight Quantization)

  • 目的:将权重转为低精度表示以减少模型大小和加速推理。
  • 公式:简单量化方法为:

w q = round ( w − w min w max − w min × ( 2 b − 1 ) ) × w max − w min 2 b − 1 + w min w_q = \text{round}\left(\frac{w - w_{\text{min}}}{w_{\text{max}} - w_{\text{min}}} \times (2^b - 1)\right) \times \frac{w_{\text{max}} - w_{\text{min}}}{2^b - 1} + w_{\text{min}} wq=round(wmaxwminwwmin×(2b1))×2b1wmaxwmin+wmin

其中 b b b 是位数, w min w_{\text{min}} wmin w max w_{\text{max}} wmax 是权重范围。

10. 稀疏化(Sparsification)

  • 目的:将部分权重设为零以减少参数量。
  • 公式:使用阈值 τ \tau τ

w ′ = { w if  ∣ w ∣ ≥ τ 0 otherwise w' = \begin{cases} w & \text{if } |w| \geq \tau \\ 0 & \text{otherwise} \end{cases} w={w0if wτotherwise

这些方法在深度学习中应用广泛,选择时需考虑模型架构、数据特性和资源限制。


http://www.kler.cn/a/587007.html

相关文章:

  • Java注解对象克隆
  • 元音辅音字符串计数leetcode3305,3306
  • 自然语言秒转SQL—— 免费体验 OB Cloud Text2SQL 数据查询
  • 软件行业的“3.15问题”有哪些?如何防止?
  • C++ unordered_map unordered_set 模拟实现
  • Certbot实现SSL免费证书自动续签(CentOS 7版 + Docker部署的nginx)
  • 测试工程师指南:基于需求文档构建本地安全知识库的完整实战
  • HarmonyOS第24天:鸿蒙应用安全秘籍:如何为用户数据筑牢防线?
  • 使用Python实现经典贪吃蛇游戏教程
  • python相关语法的学习文档1
  • 4.3 计算属性与watch的类型守卫实现
  • 软考高级《系统架构设计师》知识点(十三)
  • Day2 导论 之 「存储器,IO,微机工作原理」
  • 代码随想录二刷|图论6
  • 【.Net 9下使用Tensorflow.net---通过LSTM实现中文情感分析】
  • C++中std::count` 和 `std::count_if`的用法和示例
  • 数据结构-单链表专题
  • 【开源代码解读】AI检索系统R1-Searcher通过强化学习RL激励大模型LLM的搜索能力
  • DataEase:一款国产开源数据可视化分析工具
  • 蓝桥杯Python赛道备赛——Day5:算术(一)(数学问题)