【AI知识】深度学习中模型参数初始化方法介绍

初始化简介

什么是初始化？

初始化是指在模型训练开始前，为神经网络的权重和偏置赋予初始值的过程。它的目的是打破对称性，避免梯度消失或梯度爆炸，为模型提供一个良好的起点，从而加速收敛。

常见的参数初始化方法:

• 零初始化
• 随机初始化
• Xavier初始化
• He初始化

接下来详细介绍各个初始化的方法。

零初始化（Zero Initialization）

思想： 所有权重参数初始化为0。

优点： 简单直观。

缺点： 每个神经元的输出完全相同，导致所有神经元学习相同的特征，无法打破对称性，梯度更新相同，模型无法有效学习。

✅ 适用：不要用于权重初始化；但偏置参数可以初始化为0。

什么是对称性？

对称性 指的是神经网络中各层或神经元之间在结构和功能上的一致性。例如，如果所有权重参数都相同，那么每个神经元在前向传播和反向传播中都会表现得完全相同，这种情况被称为对称性。

为什么要打破对称性？

• 学习能力受限： 由于所有神经元的参数相同，它们在训练过程中会做出相同的更新，无法捕捉到数据中的多样性特征，导致模型表达能力不足。
• 梯度更新问题： 在反向传播过程中，如果对称性未被打破，梯度更新将相同，无法有效调整各神经元的权重，影响模型的收敛性和性能。

随机初始化（Random Initialization）​

思想： 将参数初始化为较小的随机值，通常从均匀分布或正态分布中采样。

​优点： 打破对称性，使神经元学习不同特征。

​缺点： 随机值范围选择不当可能导致梯度消失（值太小）或梯度爆炸（值太大）。

​适用场景： 适用于浅层网络或简单任务。

Xavier 初始化（Glorot Initialization）​

背景： 在神经网络的训练过程中，信号在前向传播和反向传播中可能会因为多次乘以权重矩阵而导致方差逐渐减小（梯度消失）或增大（梯度爆炸）。​

​思想： 核心思想是通过调整权重的初始值，使得神经网络在训练过程中每一层的输入和输出的方差保持一致（每一层的激活值（前向传播）和梯度（反向传播）的方差保持一致），从而避免梯度消失或梯度爆炸问题。

​公式：

​优点： 主要适用于使用 sigmoid 或 tanh 等饱和性激活函数的神经网络。这些激活函数在输入值较大或较小时会导致梯度消失问题， Xavier 初始化有助于缓解这一问题。

​缺点： 对 ReLU 激活函数效果不佳。

​适用场景： 适用于使用 Sigmoid 或 Tanh 激活函数的网络。

He 初始化（Kaiming Initialization）

是一种专门针对使用 ReLU 及其变种（如 Leaky ReLU）激活函数的深度神经网络设计的初始化方法，旨在解决使用 ReLU 等非线性激活函数时可能出现的梯度消失或爆炸问题

思想： 合理设置权重的初始方差，使得每一层的激活值和梯度的方差保持一致，从而避免梯度消失或爆炸的问题。

​适用场景： 适用于ReLU、Leaky ReLU 等非线性激活函数。这些激活函数在输入值大于零时具有恒定的梯度，而在小于零时梯度为零，He 初始化能够有效地考虑这一特性，避免梯度消失或爆炸问题。