1-1 动手学深度学习v2-线性回归-笔记

简化核心模型

• 假设1: 影响房价的关键因素是卧室个数，卫生间个数和居住面积，记为$x_1$，$x_2$，$x_3$
• 假设2: 成交价是关键因素的加权和
  $$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$权重和偏差的实际值在后面决定

线性一般模型

• 给定$n$维输入 $x=[x_1,x_2,...,x_n{]}^T$
  (这里$x_1,x_2,...,x_n$是实数/标量，$[x_1,x_2,...,x_n]$是行向量，再一转置就是一个列向量$x=[x_1,x_2,...,x_n{]}^T$)
• 线性模型有一个$n$维权重和一个标量偏差
  $$w=[w_1,w_2,...,w_n{]}^T，b$$（$w$同$x$理,b是实数/标量）
• 输出是输入的加权和
  $$y=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b$$向量版本：$y=⟨w,x⟩+b$
  （$⟨w,x⟩$表示内积，这里即两个列向量按位相乘。内积算出来的是一个实数标量。）

衡量预测质量

• 比较真实值和预估值，例如房屋售价和估价
• 假设$y$是真实值，$\hat{y}$是估计值，我们可以比较
  $$\ell (y,\hat{y})=\frac{1}{2}(y-\hat{y}{)}^2$$这个叫做平方损失，这里之所以有个$\frac{1}{2}$，是因为我们可以在后面的求导过程中很方便地消除掉。

训练数据

• 收集一些数据点来决定参数值（权重和偏差），例如过去6个月卖的房子
• 这被称之为训练数据
• 通常越多越好
• 假设我们有$n$个样本，记
  $$X=[x_1,x_2,...,x_n{]}^T$$（假设每个$x_i$都是按照上面模型定义的列向量（一个列向量就是一个样本），我们把样本一列列的排好，再经过一个转置，最后的效果就是原先的每一列现在到了每一行，$X$的每一行都是一个样本。）
  $$y=[y_1,y_2,...,y_n{]}^T$$
  （每一个$y_i$都是一个实数的数值，也即一个样本，那么$y$就是一个列向量。）

参数学习

• 训练损失
  关于数据$X$,$y$,权重$w$,偏差$b$的损失函数（真实值-估计值）：（这里算出来的是个标量）
  $$\ell (X,y,w,b)=\frac{1}{2n}\sum _{i=1}^n(y_i-⟨x_i,w⟩-b{)}^2=\frac{1}{2n}||y-Xw-b|{|}^2$$在数学中，双竖线 ∣∣⋅∣∣ 通常表示向量的范数（norm），是衡量向量大小的一种方法。在计算线性回归模型的训练损失时，这个符号用来表示预测误差向量的欧几里得范数（Euclidean norm），也就是通常所说的 L2 范数。
  L2范数（L2 norm），是向量元素的平方和的平方根。它在数学和机器学习中经常被用作一种正则化项、距离度量或误差度量。
  $$||x|{|}_2=(x_1^2+x_2^2+...+x_n^2{)}^{\frac{1}{2}}$$这里的 $||y-Xw-b|{|}^2$ 表示的是预测误差向量 $y-Xw-b$ 的 L2 范数的平方，其中 $y$ 是实际值的向量，$X$ 是特征矩阵，$w$ 是权重向量，$b$ 是偏差项。
  计算L2范数的平方是将每个样本的损失值平方后求和，再除以 $2n$，这样做的目的是平均损失，并且在后续的优化过程中，平方项可以帮助计算梯度。
  两个等号，后一个是用向量的形式来表示，但是意义都是一样的，也即都是在先计算样本损失值的平方和，再除以样本数，得到一个对于所有样本来说的平均损失。
  对于向量的形式，更易于并行化。

• 最小化损失来学习参数$$w^{\ast },b^{\ast }=arg\underset{w,b}{\min }\ell (X,y,w,b)$$
  这个公式的意思是说：要找到$w$和$b$的那个具体值 或者 值的组合$w^{\ast },b^{\ast }$，使得$\ell (X,y,w,b)$达到最小值。
  这里的 “arg min” 是 “argument of the minimum” 的缩写。

显示解

• 将偏差加入权重
  $$X\leftarrow [X,1]w\leftarrow \left[\begin{array}{c}w\\ b\end{array}\right]$$ 给$X$加一列全$1$的特征，也就是在末尾加一个全$1$的列向量$1$，相当于是给所有样本新增一个为1的实数项，然后把偏差放到权重的最后一行。相当于是把偏差融进数据$X$和权重$w$。
  损失函数变为：
  $$\ell (X,y,w)=\frac{1}{2n}||y-Xw|{|}^2\frac{\partial }{\partial w}\ell (X,y,w)=\frac{1}{n}(y-Xw{)}^{T}X$$
• 线性模型的损失是凸函数，所以最优解满足
  $$\frac{\partial }{\partial w}\ell (X,y,w)=0$$$$\iff \frac{1}{n}(y-Xw{)}^{T}X=0$$$$\iff w^{\ast }=(X^{T}X{)}^{-1}Xy$$凸函数（Convex function）是指从函数图形上来看，任意两点连成的线段，皆位于图形的上方的实值函数。
  凸函数的最优解是满足使得它的梯度等于0的地方。

总结

1. 线性回归是对$n$维输入的加权，外加偏差（$\hat{y}=Xw+b$）
2. 使用平方损失来衡量预测值和真实值的差异
3. 线性回归有显示解
4. 线性回归可以看作单层神经网络，是最简单的神经网络

QA补充

1. 为啥使用平方损失而不是绝对差值？
   绝对差值在零点处的导数比较难求，并不是一个处处可导的函数

2. 为啥损失要求平均？
   求平均和不求平均区别不大，但是不求的话，会导致梯度比较大，如果不除以$n$的话，就把学习率除以$n$吧。
   除以$n$的好处是：不管你的样本多大，批量多大，我的梯度都差不多，使得我调学习率比较容易，比较好调。