Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task3-批量归一化+卷积神经网络
目录
- 1.批量归一化
- 1.1 考虑深度学习
- 1.2 测试时的批量归一化
- 1.3 内部协变量偏移
- 2.卷积神经网络
- 2.1 观察 1：检测模式不需要整张图像
- 2.2 简化 1：感受野
- 2.3 观察 2：同样的模式可能会出现在图像的不同区域
- 2.4 简化 2：共享参数
- 2.5 简化 1 和 2 的总结
- 2.6 观察 3：下采样不影响模式检测
- 2.7 简化 3：汇聚
- 2.8 卷积神经网络的应用：下围棋
1.批量归一化
批量归一化（Batch Normalization，BN）：一种用于改善神经网络训练过程的技术，通过规范化层的输入来加速训练并提高模型的稳定性。
1.1 考虑深度学习
γ 和 β 参数：BN 引入了可学习的参数 γ（缩放因子）和 β（平移因子），以允许模型调整归一化后的特征。
1.2 测试时的批量归一化
训练与测试：在训练时，BN 使用当前批量的统计数据来归一化；在测试时，使用训练过程中累积的移动平均统计数据。
1.3 内部协变量偏移
在深度网络中，每一层的输入分布会随着网络训练而变化，BN 通过规范化来减少这种偏移。
2.卷积神经网络
卷积神经网络（CNN）：主要用于图像识别和分类任务。它通过模拟人类视觉系统的工作原理，利用卷积层来提取图像的特征。
2.1 观察 1：检测模式不需要整张图像
2.2 简化 1：感受野
卷积神经网络会设定一个区域，即感受野（receptivefield），每个神经元都只关心自己的感受野里面发生的事情，感受野是由我们自己决定的。
2.3 观察 2：同样的模式可能会出现在图像的不同区域
2.4 简化 2：共享参数
在卷积层中，相同的滤波器在整个输入图像上滑动，共享权重，减少了模型的参数数量。
2.5 简化 1 和 2 的总结
全连接层：在卷积网络的最后，通常使用全连接层来进行分类。
特征映射（Feature Map）：卷积层的输出，表示为多个通道的特征图。
2.6 观察 3：下采样不影响模式检测
下采样：通过减少图像的分辨率来提取图像中的主要特征，同时减少计算量。
2.7 简化 3：汇聚
汇聚（Pooling）：减少特征图的空间尺寸，降低参数数量和计算复杂度，同时保持特征的重要信息。