《机器学习数学基础》补充资料：四元数、点积和叉积

《机器学习数学基础》第1章1.4节介绍了内积、点积的有关概念，特别辨析了内积空间、欧几里得空间；第4章4.1.1节介绍了叉积的有关概念；4.1.2节介绍了张量积（也称外积）的概念。

以上这些内容，在不同资料中，所用术语的含义会有所差别，读者阅读的时候，不妨注意，一般资料中，都是在欧几里得空间探讨有关问题，并且是在三维的欧氏空间中，其实质所指即相同。但是，如果不是在欧氏空间中，各概念、术语则不能混用。

下面从数学史的角度，参考有关文献，阐述 ${\mathbb{R}}^3$ 空间中点积和叉积的内容，目的借此深入理解《机器学习数学基础》中有关概念。

再次强调，以下讨论，是在三维欧几里得空间。

而对点积和叉积的探讨，不得不从四元数开始。

1. 四元数

1.1 哈密顿

威廉·卢云·哈密顿爵士（英語：Sir William Rowan Hamilton，1805年8月4日－1865年9月2日），爱尔兰数学家、物理学家和天文学家。

“哈密顿”这个名称，在物理学中经常会见到，因为哈密顿在1833年建立了经典力学的重新表述（与之对应的另外一个表述是拉格朗日力学）${}^{[4]}$ ，并且此成果也被应用在量子力学中。

在数学方面，哈密顿最著名的贡献在于发现了四元数，在如今的计算机图形学、控制理论、信号处理、轨道力学等领域，都有四元数的应用。

此外，哈密顿还是语言天才，参考文献 [5] 中列出了他所懂的语言，抄录如下：

哈密顿还精通多种语言。除了欧洲语言之外，他还懂得波斯语、希腊语、拉丁语、希伯来文、古代巴勒底的巴比伦文、印度梵语、佛教原典所用的巴利语、意大利语、法语、阿拉伯语、孟加拉语、巴基斯坦语、马来语、梵文和中文等。

1.2 四元数定义

在复数 $z=a+bi$ 中，虚数单位 $i^2=-1$ ，每个复数都可以视为平面上的一个点。

在三维欧几里得空间中，每个点可以用一个有序数 $(a,b,c)$ 表示，这些点之间可以进行加法运算，但能不能做乘法运算？这个问题哈密顿也曾思考。据记载${}^{[6]}$ ，1843年10月16日，哈密顿与夫人在运河边散步，经过一座桥，突然领悟到了四元数的定义，现在那座桥旁还立有石碑。

石碑上的内容如下：

Here as he walked by on the 16th of October 1843 Sir William Rowan Hamilton in a flash of genius discovered the fundamental formula for quaternion multiplication
$i^2=j^2=k^2=ijk=-1$
& cut it on a stone of this bridge.

每个四元数（quaternion）都是 $1,i,j,k$ 的线性组合，即一个四元数表示为：

$$a+bi+cj+dk$$

其中，$i^2=j^2=k^2=ijk=-1$ ，$a,b,c,d$ 是实数。

四元数加法，与向量加法类似：

$$(a_1+b_{1}i+c_{1}j+d_{1}k)+(a_2+b_{2}i+c_{2}j+d_{2}k)=(a_1+a_2)+(b_1+b_2)i+(c_1+c_2)j+(d_1+d_2)k$$

1.3 四元数乘法

根据四元数定义中规定的 $i^2=j^2=k^2=ijk=-1$ ，可以进行虚数单位间的乘法计算，例如：

• $ijk=-1$ ，右乘 $k$ ，得：$ij{k}^2=ij(-1)=-ij=-k$ ，即 $ij=k$ 。
• $ijk=-1$ ，左乘 $i$ ，得：$i^{2}jk=(-1)jk=-jk=-i$ ，即 $jk=i$ 。
• 根据 $jk=i$ ，左乘 $j$ ，得：$j^{2}k=ji$ ，即 $-k=ji$ 。
• …

可以得到如下乘法表：

从上表中会发现，四元数的乘法显然不满足交换律，比如 $ij=k$ ，而 $ji=-k$ 。

两个四元数相乘：

$$\begin{array}{rl}& (a_1+b_{1}i+c_{1}j+d_{1}k)(a_2+b_{2}i+c_{2}j+d_{2}k)\\ =& a_1{a}_2+a_1{b}_{2}i+a_1{c}_{2}j+a_1{d}_{2}k+b_1{a}_{2}i+b_1{b}_2{i}^2+b_1{c}_{2}ij+b_1{d}_{2}ik\\ & +c_1{a}_2+c_1{b}_{2}ji+c_1{c}_2{j}^2+c_1{d}_{2}jk+d_1{a}_2+d_1{b}_{2}ki+d_1{c}_{2}kj+d_1{d}_2{k}^2\\ =& (a_1{a}_2-b_1{b}_2-c_1{c}_2-d_1{d}_2)\\ & +(a_1{b}_2+b_1{a}_2+c_1{d}_2-d_1{c}_2)i\\ & +(a_1{c}_2-b_1{d}_2+c_1{a}_2+d_1{b}_2)j\\ & +(a_1{d}_2+b_1{c}_2-c_1{b}_2+d_1{a}_2)k\end{array}\text{\hspace{1em}(1.1)}$$

标量与四元数相乘：

$$\alpha (a+bi+cj+dk)=\alpha a+\alpha bi+\alpha cj+\alpha dk$$

四元数的加法运算和标量乘法运算，符合向量空间的加法和乘法封闭，以及向量空间的8条运算法则（参阅《机器学习数学基础》第1章1.2.1节），故四元数的集合可视为一个定义于实数的四维向量空间：

H = { a + b i + c j + d k ∣ a , b , c , d ∈ R , i 2 = j 2 = k 2 = i j k = − 1 } \mathbb{H} = \{a+bi+cj+dk|a,b,c,d\in\mathbb{R},i^2=j^2=k^2=ijk=-1\} H={a+bi+cj+dk∣a,b,c,d∈R,i2=j2=k2=ijk=−1}

此向量空间的基为 { 1 , i , j , k } \{1,i,j,k\} {1,i,j,k} 。

1.4 共轭和逆

设 $q=a+bi+cj+dk$ ，

• 四元数的共轭定义为：$q^{\ast }=a-bi-cj-dk$ 。

• 绝对值（模，长度，norm）：$|q|=\sqrt{q{q}^{\ast }}=\sqrt{q^{\ast }q}=\sqrt{a^2+b^2+c^2+d^2}$ （此处使用了 $q{q}^{\ast }=q^{\ast }q$ 结论，证明见后续内容 ）

• $q_1,q_2\in \mathbb{H}$ ，则 $(q_1{q}_2{)}^{\ast }=q_2^{\ast }{q}_1^{\ast }$ ，且 $|q_1{q}_2|=|q_1||q_2|$ 。

  证明

  $$\begin{array}{rl}|q_1{q}_2{|}^2& =(q_1{q}_2)(q_1{q}_2{)}^{\ast }\\ & =q_1{q}_2{q}_2^{\ast }{q}_1^{\ast }\\ & =q_1|q_2{|}^2{q}_1^{\ast }\\ & =q_1{q}_1^{\ast }|q_2{|}^2\\ & =|q_1{|}^2|q_2{|}^2\end{array}$$

• 若 $q\ne 0$ ，定义逆元：$q^{-1}=\frac{q^{\ast }}{|q{|}^2}$

  验证

  $$q^{-1}q=q{q}^{-1}=1$$

  若 $|q|=1$ ，即 $q$ 是单位四元数，则 $q^{-1}=q^{\ast }$ 。

1.5 四元数表示：标量-向量

令 $i,j,k$ 是 ${\mathbb{R}}^3$ 的单位向量（标准正交基），四元数 $q=a+bi+cj+dk$ 可以表示为：

$$q=a+v$$

其中 $a\in \mathbb{R}$ ，$v=bi+cj+dk\in {\mathbb{R}}^3$ ，且 $i^2=j^2=k^2=ijk=-1$ 。

1878年，英国数学家 William Kingdon Clifford${}^{[7]}$ 使用上述表示方式，计算两个四元数的乘积：

$$q_1{q}_2=(a_1+v_1)(a_2+v_2)=(a_1{a}_2-v_1\cdot v_2)+(a_1{v}_2+a_2{v}_1+v_1\times v_2)\text{\hspace{1em}(1.2)}$$

推导

因为：

$$v_1\cdot v_2=b_1{b}_2+c_1{c}_2+d_1{d}_2$$

$$v_1\times v_2=\left|\begin{array}{ccc}i& j& k\\ b_1& c_1& d_1\\ b_2& c_2& d_2\end{array}\right|=(c_1{d}_2-c_2{d}_1)i+(d_1{b}_2-d_2{b}_1)j+(b_1{c}_2-b_2{c}_1)k$$

代入（1.1）式，得：

$$\begin{array}{rl}{q}_1{q}_2& =(a_1{a}_2-v_1\cdot v_2)+a_1(b_{2}i+c_{2}j+d_{2}k)+a_2(b_{1}i+c_{1}j+d_{1}k)\\ & +(c_1{d}_2-d_1{c}_2)i+(d_1{b}_2-d_2{b}_1)j+(b_1{c}_2-b_2{c}_1)k\\ & =(a_1{a}_2-v_1\cdot v_2)+(a_1{v}_2+a_2{v}_1+v_1\times v_2)\end{array}$$

（1.2）式中，即有两个向量的点积和叉积。

很可惜，Clifford提出了点积和叉积之后，未及推广，英年早逝。

1901年，美国物理学家吉布斯（Josiah Willard Gibbs）的学生将他的课堂讲义整理成书，名为《向量分析》（Vector Analysis），通过这个著名的教科书，点积和叉积得以推广。

2. 行列式与叉积

《机器学习数学基础》第4章4.1.1节中定义叉积，使用的是最常规的几何方法，下面根据参考文献 [8]，从行列式角度来理解叉积。

设 $A=[abc]$ ，有：KaTeX parse error: \tag works only in display equations

又因为：

$$\begin{array}{rl}\det (a,b,c)& =\left|\begin{array}{ccc}{a}_1& b_1& c_1\\ a_2& b_2& c_2\\ a_3& b_3& c_3\end{array}\right|\\ & =c_1\left|\begin{array}{cc}{a}_2& b_2\\ a_3& b_3\end{array}\right|-c_2\left|\begin{array}{cc}{a}_1& b_1\\ a_3& b_3\end{array}\right|+c_3\left|\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right|\\ & =c_1\left|\begin{array}{cc}{a}_2& a_3\\ b_2& b_3\end{array}\right|+c_2\left|\begin{array}{cc}{a}_3& a_1\\ b_3& b_1\end{array}\right|+c_3\left|\begin{array}{cc}{a}_1& a_2\\ b_1& b_2\end{array}\right|\end{array}$$

所以：

$$a\times b={\left(\left|\begin{array}{cc}{a}_2& a_3\\ b_2& b_3\end{array}\right|,\left|\begin{array}{cc}{a}_3& a_1\\ b_3& b_1\end{array}\right|,\left|\begin{array}{cc}{a}_1& a_2\\ b_1& b_2\end{array}\right|\right)}^T\text{\hspace{1em}(2.2)}$$

2.1 用行列式证明叉积性质

• 数量乘法结合律：$(ka)\times b=a\times (kb)=k(a\times b)$

  $$\det (ka,b,c)=\det (a,kb,c)=k\det (a,b,c)$$

  根据（2.1）式，得：

  $$⟨(ka)\times b,c⟩=⟨a\times (kb),c⟩=k⟨a\times b,c⟩$$

  $c$ 为任一向量

• 加法分配律：$a\times (x+y)=a\times x+a\times y,(x+y)\times b=x\times b+y\times b$

  $$\det (a,x+y,c)=\det (a,x,c)+\det (a,y,c)$$

  $$\det (x+y,b,c)=\det (x,b,c)+\det (y,b,c)$$

  利用前面的性质，得证。

• 正交：$⟨a\times b,a⟩=0$ 且 $⟨a\times b,b⟩=0$ ，即 $a\times b\perp a$ 且 $a\times b\perp b$

  若行列式中有相同的两行，则行列式值等于零。所以：

  $$⟨a\times b,a⟩=\det (a,b,a)=0$$

  $$⟨a\times b,b⟩=\det (a,b,b)=0$$

• 反对称性：$a\times b=-b\times a$

  行列式的两行互相交换，行列式值更改符号，所以：

  $$⟨a\times b,c⟩=\det (a,b,c)=-\det (b,a,c)=-⟨b\times a,c⟩=⟨-b\times a,c⟩$$

• 循环不变性：$⟨a\times b,c⟩=⟨b\times c,a⟩=⟨c\times a,b⟩$

  行列式，交换两行两次，值不变。所以：

  $$\det (a,b,c)=\det (b,c,a)=\det (c,a,b)$$

• 拉格朗日等式：${\Vert \begin{array}{c}a\times b\end{array}\Vert }^2={\Vert \begin{array}{c}a\end{array}\Vert }^2{\Vert \begin{array}{c}b\end{array}\Vert }^2-⟨a,b{⟩}^2$

  设 $p=a\times b$ ，使用行列式可乘公式和上面的正交性：

  $$\begin{array}{rl}⟨a\times b,p{⟩}^2& =|abp{|}^2=\left|\begin{array}{c}{a}^T\\ b^T\\ p^T\end{array}\right|\left|\begin{array}{ccc}a& b& p\end{array}\right|\\ & =\left|\begin{array}{ccc}{\Vert \begin{array}{c}a\end{array}\Vert }^2& ⟨a,b⟩& 0\\ ⟨b,a⟩& {\Vert \begin{array}{c}b\end{array}\Vert }^2& 0\\ 0& 0& {\Vert \begin{array}{c}p\end{array}\Vert }^2\end{array}\right|\\ & ={\Vert \begin{array}{c}p\end{array}\Vert }^2({\Vert \begin{array}{c}a\end{array}\Vert }^2{\Vert \begin{array}{c}b\end{array}\Vert }^2-⟨a,b{⟩}^2)\end{array}$$

  又因为 $⟨a\times b,p⟩={\Vert \begin{array}{c}a\times b\end{array}\Vert }^2={\Vert \begin{array}{c}p\end{array}\Vert }^2$

如果，将 $⟨a,b⟩=\Vert \begin{array}{c}a\end{array}\Vert \Vert \begin{array}{c}b\end{array}\Vert \cos \theta$ 代入拉格朗日等式，可得：

$${\Vert \begin{array}{c}a\times b\end{array}\Vert }^2={\Vert \begin{array}{c}a\end{array}\Vert }^2{\Vert \begin{array}{c}b\end{array}\Vert }^2(1-{\cos }^2\theta )={\Vert \begin{array}{c}a\end{array}\Vert }^2{\Vert \begin{array}{c}b\end{array}\Vert }^2{\sin }^2\theta$$

即得：$\Vert \begin{array}{c}a\times b\end{array}\Vert =\Vert \begin{array}{c}a\end{array}\Vert \Vert \begin{array}{c}b\end{array}\Vert |\sin \theta |$ 。

参考文献

[1]. 线代启示录：内积与外积是怎么来的？

[2]. 维基百科：点积

[4]. 维基百科：哈密顿力学

[5]. 维基百科：威廉·哈密顿

[6]. 维基百科：History of quaternions

[7]. 维基百科：William Kingdon Clifford

[8]. 线代启示录：关于外积与行列式的关系