最小二乘法原理

  为了说明最小二乘法的基本原理，我们先举一个求标准米尺温度膨胀系数的例子。
  米尺长度：$L=L_0(1+\alpha t+\beta t^2)$。这里，$L_0$为米尺在$0℃$时的精确长度；$\alpha$，$\beta$为米尺的温度膨胀系数。
  我们在不同温度么条件下测出一系列$L$值，再据以求$\alpha$与$\beta$值。为了醒目起见，以$x$，$y$来代表$\alpha$，$\beta$两个未知的待求量，于是有
$$L=L_0(1+tx+t^{2}y)$$
  进一步改写为一般形式：
$$L=ax+by+c$$
或
$$L=f(x,y,a,b,c)$$
式中，$L$，$a$，$b$，$c$为可测量和经简单计算即可知道的量；$x$，$y$为待求量。
  设对$L$和$t$各测取$n$个值，当已知$L_0$时，即可计算出$n$组相应的$a$，$b$，$c$值（$a=L_{0}t$；$b=L_0{t}^2$；$c=L_0$），于是可得条件方程组（或称测量方程组）如下：
$$\begin{array}{c}{L}_1=f(x,y,a_1,b_1,c_1)\\ L_2=f(x,y,a_2,b_2,c_2)\\ ⋮\\ L_n=f(x,y,a_n,b_n,c_n)\end{array}\}\cdots \cdots (1)$$
  方程组中有$x$，$y$两个（一般为$m$个）未知量，从方程组可看出：
  （1）当$n<m$，方程有无穷多个解。
  （2）当$n=m$，方程只有唯一解。
  （3）当$n>m$，则任选其中$m$个方程式即可求出m个未知量。若取值绝对精确（不管测多少次，结果不变），则所求出的解也将是唯一的，即代人其余$n-m$个方程式也能满足。但事实上因为不可避免地有测量误差存在，故将各测得值及求得的解代人其余各式后,并不能足$L-f(x,y,a,b,c)=0$。不过在$n>m$的情况下，仍可找到一组最佳的或最恰当的解，将其代人各方程式后，虽不能使$L-f(x,y,a,b,c)=0$，但却是与零相差很微小的$\upsilon$值($\upsilon$仍可称为残差），从方程组整体上看，这一组解可以是误差最小的唯一解。
  当考虑了测量误差之后，将各测量值代人式（1），可写出如下误差方程组：
$$\begin{array}{c}{l}_1-L_1=l_1-f(x,y,a_1,b_1,c_1)={\upsilon }_1\\ l_2-L_2=l_2-f(x,y,a_2,b_2,c_2)={\upsilon }_2\\ ⋮\\ l_n-L_n=l_n-f(x,y,a_n,b_n,c_n)={\upsilon }_n\end{array}\}\cdots \cdots (2)$$
式中，$L_1，L_2，\cdots ，L_n$为需要直接测量的量值的待求估计值，$l_1，l_2，\cdots ，l_n$为相应的有误差的实际测得值。
  如要得到如上所述的一组最佳解，既从整体上看误差最小，其条件是式（2）中各方程式的残差${\upsilon }_i$的平方和为最小，即
$$\sum _{i=1}^n{\upsilon }_i^2=最小$$
  也就是说，任取另一组解，其${\sum }_{i=1}^n{{\upsilon }^{{}^{\prime }}}_i^2$都将大于${\sum }_{i=1}^n{\upsilon }_i^2$。这就是最小二乘法最基本的概念，应用最小二乘法时，要注意误差数据必须是无偏的，即没有系统误差，相互独立，且服从正态分布这是用最小二乘法确定最佳估计值的前提条件。
  设对某$x$值进行$n$次等精度测量，得一系列测得值$x_1，x_2，\cdots ，x_n$，相应的残差${\upsilon }_1=x_1-\bar{x}，{\upsilon }_2=x_2-\bar{x}，\cdots ，{\upsilon }_n=x_n-\bar{x}$。$\bar{x}$为$x_i$的算术平均值，标准差为$\sigma$。误差落在${\upsilon }_i\sim {\upsilon }_i+d\upsilon$范围内的概率$P_i$为
$$\begin{array}{c}{P}_1=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{{\upsilon }_1^2}{2{\sigma }^2}}d\upsilon \\ P_2=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{{\upsilon }_2^2}{2{\sigma }^2}}d\upsilon \\ ⋮\\ P_n=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{{\upsilon }_n^2}{2{\sigma }^2}}d\upsilon \end{array}\}$$
  因为误差相互独立，根据概率乘法定理，误差${\upsilon }_1，{\upsilon }_2，\cdots ，{\upsilon }_n$同时出现的概率$P$应为
$$P=P_1\times P_2\times \cdots \times P_n=(\frac{1}{\sigma \sqrt{2\pi }}{)}^n{e}^{-\frac{1}{2{\sigma }^2}({\upsilon }_1^2+{\upsilon }_2^2+\cdots +{\upsilon }_n^2)}(d\upsilon {)}^n$$
  按概率论的最大或然原理，测量结果的最可信赖值，应该是出现的机会最多的那个数值也就是出现的概率$P$为最大时所求得的数值。可以这样来解，按随机误差特性，小误差出现的概率大于大误差出现的概率，因此，概率越大的测量值，就越可信赖。要使$P$最大的条件，就是上式中负指数的分子（${\upsilon }_1^2+{\upsilon }_2^2+\cdots +{\upsilon }_n^2$）为最小，即
$$\sum _{i=1}^n{\upsilon }_i^2=最小$$
这样就证明了最小二乘原理。
  对于不等精度测量，可设$x_1，x_2，\cdots ，x_n$的标准差分别为${\sigma }_1，{\sigma }_2，\cdots ，{\sigma }_n$。代入上式得：
$$P=P_1{P}_2\cdots P_n=\frac{1}{{\sigma }_1{\sigma }_2\cdots {\sigma }_n(\sqrt{2\pi {)}^n}}{e}^{-\frac{1}{2}(\frac{{\upsilon }_1^2}{{\sigma }_1^2}+\frac{{\upsilon }_2^2}{{\sigma }_2^2}+\cdots +\frac{{\upsilon }_n^2}{{\sigma }_n^2})}(d\upsilon {)}^n$$
$P$为最大的条件为
$$\frac{{\upsilon }_1^2}{{\sigma }_1^2}+\frac{{\upsilon }_2^2}{{\sigma }_2^2}+\cdots +\frac{{\upsilon }_n^2}{{\sigma }_n^2}=最小$$
因相应的权比为$p_1:p_2:\cdots :p_n=\frac{1}{{\sigma }_1^2}:\frac{1}{{\sigma }_2^2}:\cdots :\frac{1}{{\sigma }_n^2}$，故有
$$p_1{\upsilon }_1^2+p_2{\upsilon }_2^2+\cdots +p_n{\upsilon }_n^2=\sum _{i=1}^n{p}_i{\upsilon }_i^2=最小$$
按此条件求出来的最可信赖值，即为加权平均值。