【动手学深度学习】08 线性回归 + 基础优化算法（个人向笔记）
1. 线性回归
- 一个简化的模型：
- 我们可以这样来定义线性模型：注意这里先转置变成了列向量
- 线性模型可以被看成时一个单层的神经网络：单层是因为单层参数
- 用一个函数来衡量预估质量：损失函数
- 在训练的时候寻找最小化的损失的参数 w 和 b，即预估质量最好
2. 基础优化方法
- 在整个训练集上做梯度是耗时的，固采样随机样本来近似损失
- 批量的选择
3. 从零开始实现线性回归
- 导入相关的包：random用于随机化初始参数
其中 matmul 的用法如下：
- 写一个
data_iter函数来从样本中获取一个batch的数据量
- 对于这段代码我的疑问比较多，如下
- yield是什么？
- batch_indices的类型是从indices构建的张量，而featrue和label也是张量，这里可以将张量作为张量的索引吗？
- 定义模型和它的参数
- 定义损失和优化函数
- 训练
- 比较真实参数的训练得到的神经网络的参数
线性回归的简洁实现
- 上面没有使用框架纯手搓了一个，下面使用深度学习框架实现一个
- 导入相应的包并且定义真实的参数和获取数据
- 可以用把数据变成dataset形式，然后用DataLoaer来访问数据。
- DataLoader可以用iter和next访问
- 其中
*data_arrays的语法存在疑问
- 还有
iter和next的语法
- 使用框架预定好的层并初始化模型参数
- 使用均方误差（也称为平方范数），并实例化SGD实例
- 其中
net.parameters()包括了 net 里面的所有参数（在这里是 w 和 b），还需要指定学习率
- 训练过程和从零开始非常相似
