线性判别分析 (LDA)中目标函数两个相似公式 分子 之间的转换过程

本文是对以下文章的分子部分更加详细的说明
线性判别分析 (LDA)中目标函数两个相似公式之间的转换过程

二次型是指一个关于向量的二次函数，通常表示为 $Q(x)=x^{T}Ax$，其中 $x$ 是一个列向量，$A$ 是一个对称矩阵。二次型在数学中用于描述涉及向量和矩阵的二次关系。

我们更详细地解释如何将标量平方 ${\left(w^T({\mu }_0-{\mu }_1)\right)}^2$ 表示为二次型 $w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$。

详细步骤：

1. 标量平方的展开：

   首先，注意到 $\left(w^T({\mu }_0-{\mu }_1)\right)$ 是一个标量。因此，其平方可以表示为：
   $${\left(w^T({\mu }_0-{\mu }_1)\right)}^2=\left(w^T({\mu }_0-{\mu }_1)\right)\left(w^T({\mu }_0-{\mu }_1)\right)$$

2. 利用标量乘积的性质：

   标量的乘积可以重新排列，因为标量相乘满足交换律：
   $$\left(w^T({\mu }_0-{\mu }_1)\right)\left(w^T({\mu }_0-{\mu }_1)\right)=\left(w^T({\mu }_0-{\mu }_1)\right)\left(({\mu }_0-{\mu }_1{)}^{T}w\right)$$

   这里，我们利用了以下事实：

   • $\left(w^T({\mu }_0-{\mu }_1)\right)$ 是标量。
   • $\left(({\mu }_0-{\mu }_1{)}^{T}w\right)$ 也是标量，且等于 $\left(w^T({\mu }_0-{\mu }_1)\right)$。

3. 重新排列表达式：

   现在，我们可以将标量乘积写成矩阵和向量的乘积形式：
   $$\left(w^T({\mu }_0-{\mu }_1)\right)\left(({\mu }_0-{\mu }_1{)}^{T}w\right)=w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$$

   这一步中，我们将两个标量乘积重新排列为矩阵乘积：

   • 首先，$w^T({\mu }_0-{\mu }_1)$ 是一个 $1\times 1$ 的标量。
   • 然后，$({\mu }_0-{\mu }_1{)}^{T}w$ 也是一个标量。
   • 将这两个标量相乘，可以视为矩阵乘法中的括号重新组合。

4. 理解矩阵乘法的维度匹配：

   为了确保上述等式成立，我们需要检查矩阵维度：

   • $({\mu }_0-{\mu }_1)$ 是一个 $n\times 1$ 的列向量。

   • $({\mu }_0-{\mu }_1{)}^T$ 是一个 $1\times n$ 的行向量。

   • 因此，$({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$ 是一个 $n\times n$ 的矩阵。

   • $w$ 是一个 $n\times 1$ 的列向量。

   • $w^T$ 是一个 $1\times n$ 的行向量。

   • 因此，$w^T({\mu }_0-{\mu }_1)$ 是一个标量（$1\times 1$）。

   • 同样地，$({\mu }_0-{\mu }_1{)}^{T}w$ 也是一个标量。

   • 最终，$w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$ 是一个标量，计算过程为：
     $$w^T[({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T]w$$

     这里，内部的 $({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$ 是矩阵，外部的 $w^T$ 和 $w$ 分别是行向量和列向量。

5. 总结：

   通过上述步骤，我们成功地将标量平方表示为涉及矩阵和向量的二次型：
   $${\left(w^T({\mu }_0-{\mu }_1)\right)}^2=w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$$

   这就是将标量平方转换为二次型的详细过程。

结论：

• 二次型是指形如 $Q(x)=x^{T}Ax$ 的函数，其中 $A$ 是对称矩阵，$x$ 是向量。

• 我们将标量平方 ${\left(w^T({\mu }_0-{\mu }_1)\right)}^2$ 转换为二次型的步骤是：

  1. 将标量平方展开为自身的乘积。
  2. 利用标量乘积的交换性质，重新排列为矩阵和向量的乘积。
  3. 将表达式写成 $w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$ 的形式。

通过这些步骤，我们成功地将原始的标量平方表达式表示为二次型形式，使得两个公式的分子部分等价。