NLP 复习大纲
CH3
-
激活函数意义
增强网络表达能力，引入非线性因素
连续可导的非线性函数
尽可能简单
导数的值域要在合适的范围内 -
为什么会发生梯度消失
误差传播的迭代公式为：
其中需要用到激活函数的导数，而激活函数的导数值小于1时，误差经过每一层传递都会不断衰减，当网络很深的时候，梯度会消失。 -
损失函数的种类
绝对值损失函数
交叉熵损失函数
平方损失函数 -
梯度下降方法
梯度下降：全批次
随机梯度下降：每一次随机选择一个数据计算梯度
mini-batch：结合两者
异同：计算效率，更新频率，样本划分，目标 -
如何解决梯度消失和过拟合
选择合适的激活函数，用复杂的们结构代替激活函数，残差结构
正则化解决过拟合 -
CNN
由卷积层、子采样层、全连接层交叉堆叠而成 -
与DNNqubie
-
DNN训练方法
BP -
RNN的训练方法
BPTT -
BPTT和BP的区别
BPTT损失函数定义为每一个时刻的损失之和，它会在每一个时间步长内叠加所有对应的权重梯度 -
GNN如何解决邻接节点个数不确定
将目标节点的特征更新为其自身特征和邻居特征的组合。 -
GNN卷积步骤：1.Aggregation 2.Transformation
在最后一层（K层）得到每个结点的表示后，可以根据任务将其代入任何损失函数，然后用梯度下降法训练参数 -
GNN训练方法
卷积，然后在最后一层得到每个节点的表示后，根据任务将其带入任何损失函数，邻接节点特征聚合 ，transformation引入非线性
相较于DNN，CNN，RNN有什么优点？
- DNN,CNN输入输出定长，RNN处理变长问题效率更高
- DNN,CNN无法处理时序相关的问题
CNN各层的作用是什么
- 卷积层：通过卷积操作减少参数
- 池化层：通过采样减少网络规模
- 全连接层：将池化层的单元平化
GNN和CNN的区别
- 卷积思想
- 核心相同：两者都利用卷积操作从输入中提取特征。
- 共享权重：CNN在特定区域共享卷积核参数，GNN在邻域节点中共享权重，减少参数量。
- 特征聚合：两者都通过聚合局部特征（局部连接）生成全局信息。
- 目标：
- 两者均试图降低模型复杂度，同时保留尽可能多的关键信息。
- 训练方法：
- 均通过梯度下降法优化损失函数（如交叉熵损失）。
- 使用类似的反向传播（BP）算法来更新权重。
LSTM VS GRU
门结构不同
LSTM：输入门+遗忘门+输出门
GRU：更新门+重置门
模型参数不同
GRU比LSTM更加简单，参数更少
对memory 的控制不同
LSTM： 用output gate 控制，传输给下一个unit。
GRU：直接传递给下一个unit，不做任何控制。