【自学笔记】深度学习基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

深度学习重点知识点总览

一、基础概念

1. 神经网络基础

• 神经元：基本计算单元，接收输入、加权求和、激活。
• 多层感知机（MLP）：最简单的神经网络结构，包含输入层、隐藏层和输出层。
• 激活函数：ReLU、Sigmoid、Tanh等，引入非线性。

2. 损失函数与优化

• 损失函数：衡量模型预测与真实标签之间差异的函数，如MSE、交叉熵。
• 优化算法：梯度下降、随机梯度下降（SGD）、Adam等。
• 反向传播：计算损失函数对参数的梯度，用于更新参数。

3. 数据预处理

• 归一化/标准化：调整数据尺度，加速收敛。
• 数据增强：增加数据多样性，防止过拟合。
• 批次处理：将大数据集分割为小批次，提高训练效率。

二、深度学习模型

1. 卷积神经网络（CNN）

• 卷积层：提取局部特征。
• 池化层：降维，减少计算量，增强鲁棒性。
• 全连接层：整合特征，进行分类或回归。

2. 循环神经网络（RNN）

• 基本RNN：处理序列数据，但存在梯度消失/爆炸问题。
• LSTM/GRU：长短期记忆网络/门控循环单元，解决梯度问题。
• 双向RNN：结合正向和反向信息，提高性能。

3. 注意力机制

• 自注意力：Transformer核心，计算序列中元素间的相关性。
• 多头注意力：并行计算多个自注意力，捕捉不同特征。
• 位置编码：为序列数据添加位置信息。

三、高级主题

1. 生成对抗网络（GAN）

• 生成器：生成假数据，试图欺骗判别器。
• 判别器：区分真假数据，提高识别能力。
• 训练策略：交替优化生成器和判别器。

2. 强化学习

• 策略网络：决定行动策略。
• 价值网络：评估状态或行动的价值。
• 环境交互：智能体根据策略选择行动，环境反馈奖励。

3. 自动微分

• 前向传播：计算输出和损失。
• 反向传播：计算梯度。
• 框架支持：TensorFlow、PyTorch等，简化实现。

四、实践技巧

1. 过拟合与欠拟合

• 正则化：L1、L2正则化，减少模型复杂度。
• Dropout：随机丢弃神经元，防止共适应。
• 早停：监控验证集性能，提前终止训练。

2. 超参数调优

• 网格搜索：遍历预设参数组合。
• 随机搜索：在参数空间随机采样。
• 贝叶斯优化：基于历史数据指导搜索。

3. 模型部署

• 模型压缩：剪枝、量化、知识蒸馏等。
• 推理加速：使用TensorRT、ONNX Runtime等工具。
• 云服务：AWS SageMaker、Google AI Platform等。

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，自学记录深度学习基础知识点总览。