深度学习入门1 基于Python的理论与实现
torch.unsqueeze()将一维数据变为二维数据，torch只能处理二维数据
tensor不能反向，variable可以反向。variable.data.numpy()转换为numpy
第3章 神经网络
- 实现softmax函数时的注意事项：为防止e的指数运算造成溢出
矩阵的第 0 维是列方向,第 1 维是行方向
第4章 神经网络的学习
损失函数：
均方误差
交叉熵误差
求所有训练数据的损失函数的总和,以交叉熵误差为例,可以写成
数值微分：利用微小的差分求导数的过程称为数值微分。所谓数值微分就是用数值方法近似求解函数的导数的过程。
梯度法：在梯度法中，函数的取值从当前位置沿着梯度方向前进一定距离，然后在新的地方重新求梯度，再沿着新梯度方向前进, 如此反复，不断地沿梯度方向前进。像这样，通过不断地沿梯度方向前进, 逐渐减小函数值的过程就是梯度法。
学习率决定在一次学习中,应该学习多少,以及在多大程度上更新参数
第5章 误差反向传播法
5.1 计算图
用图形表示计算过程，从左向右计算
实际上,使用计算图最大的原因是,可以通过反向传播高效计算导数。即计算输入变量对最终输出的影响。
5.2 链式法则