[paddle] 矩阵乘法

矩阵乘法

矩阵乘法是线性代数中的一个基本运算。假设我们有两个矩阵 $\mathbf{A}$ 和 $\mathbf{B}$，矩阵 $\mathbf{A}$ 的维度是 $m\times n$，矩阵 $\mathbf{B}$ 的维度是 $n\times p$，那么矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 的乘积 $\mathbf{C}$ 将是一个 $m\times p$ 维度的矩阵。

矩阵乘法的数学定义如下：

矩阵 $\mathbf{C}$ 的每个元素 $c_{ij}$ 是由矩阵 $\mathbf{A}$ 的第 $i$ 行和矩阵 $\mathbf{B}$ 的第 $j$ 列对应元素相乘后再相加得到的，即：

$$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}$$

其中，$1\le i\le m$，$1\le j\le p$。

具体来说，假设矩阵 $\mathbf{A}$ 如下：

$$\mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$$

矩阵 $\mathbf{B}$ 如下：

$$\mathbf{B}=\left(\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1p}\\ b_{21}& b_{22}& \cdots & b_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ b_{n1}& b_{n2}& \cdots & b_{np}\end{array}\right)$$

那么矩阵 $\mathbf{C}$ 的每个元素 $c_{ij}$ 按照上述公式计算。
需要注意的是，矩阵乘法不满足交换律，即一般来说，$\mathbf{A}\mathbf{B}\ne \mathbf{B}\mathbf{A}$。但是，矩阵乘法满足结合律和分配律。

结合律：$\mathbf{A}(\mathbf{B}\mathbf{C})=(\mathbf{A}\mathbf{B})\mathbf{C}$
分配律：$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{A}\mathbf{C}$ 和 $(\mathbf{A}+\mathbf{B})\mathbf{C}=\mathbf{A}\mathbf{C}+\mathbf{B}\mathbf{C}$
转置律： $(\mathbf{A}\mathbf{B}{)}^{\top }={\mathbf{B}}^{\top }{\mathbf{A}}^{\top }$

paddle.linalg.multi_dot(x)
参数

• x ([tensor])：输入的是一个 tensor 列表。

import paddle
# A * B
A = paddle.rand([3, 4])
B = paddle.rand([4, 5])
out = paddle.linalg.multi_dot([A, B])
print(out.shape)

# A * B * C
A = paddle.rand([10, 5])
B = paddle.rand([5, 8])
C = paddle.rand([8, 7])
out = paddle.linalg.multi_dot([A, B, C])
print(out.shape)

方阵的幂

paddle.linalg.matrix_power(x, n)

• x 二维张量方阵
• n 幂次, 同一个方阵相乘 $n$ 次, 例如3次 ${\mathbf{A}}^3=\mathbf{A}\mathbf{A}\mathbf{A}$.

import paddle
x = paddle.to_tensor([[1, 2, 3],
                      [1, 4, 9],
                      [1, 8, 27]], dtype='float64')
print(paddle.linalg.matrix_power(x, 2))
print(paddle.linalg.matrix_power(x, 0))
print(paddle.linalg.matrix_power(x, -2))

方阵的逆

paddle.linalg.inv(x)

• x 方阵

数学定义， 如果给定方阵 $\mathbf{A}$, 存在 $\mathbf{B}$, 满足
$$\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{I}$$
$\mathbf{I}$ 是单位矩阵， 则称 $\mathbf{B}$ 是 $\mathbf{A}$ 的逆，记作 ${\mathbf{A}}^{-1}$. 称 $\mathbf{A}$ 是可逆矩阵

import paddle
mat = paddle.to_tensor([[2, 0], [0, 2]], dtype='float32')
inv = paddle.inverse(mat)
print(inv)

矩阵的伪逆

也称作 moore-penrose 逆， 对于一个矩阵 $\mathbf{A}$（不一定是方阵），其伪逆 ${\mathbf{A}}^{+}$ 是满足以下四个条件的矩阵：

• $\mathbf{A}{\mathbf{A}}^{+}\mathbf{A}=\mathbf{A}$
• ${\mathbf{A}}^{+}\mathbf{A}{\mathbf{A}}^{+}={\mathbf{A}}^{+}$
• $(\mathbf{A}{\mathbf{A}}^{+}{)}^{\ast }=\mathbf{A}{\mathbf{A}}^{+}$
• $({\mathbf{A}}^{+}\mathbf{A}{)}^{\ast }={\mathbf{A}}^{+}\mathbf{A}$

paddle.linalg.pinv(x, rcond=1e-15, hermitian=False, name=None)

• x (Tensor)：输入变量，类型为 Tensor，数据类型为 float32、float64、complex64、complex12，形状为（M, N）或（B, M, N）。
• rcond (float64，可选)：奇异值（特征值）被截断的阈值，奇异值（特征值）小于 rcond * 最大奇异值时会被置为 0，默认值为 1e-15。
• hermitian (bool，可选)：是否为 hermitian 矩阵或者实对称矩阵，默认值为 False。

矩阵的指数函数

给定矩阵 $\mathbf{A}$, 按照指数函数的泰勒公式 $\exp (x)={\sum }_{k=0}^{\infty }\frac{1}{n!}{x}^n$, 把矩阵 $\mathbf{A}$ 带入 $x$ 的位置得到矩阵值函数，
$$\exp (\mathbf{A})=\sum _{k=0}^{\infty }\frac{1}{n!}{A}^n$$

paddle.linalg.matrix_exp(x, name=None)

import paddle

mat_a = paddle.empty((2, 2, 2))
mat_a[0, :, :] = paddle.eye(2, 2)
mat_a[1, :, :] = 2 * paddle.eye(2, 2)
print(mat_a)

out = paddle.linalg.matrix_exp(mat_a)
print(out)

import math
mat_a = paddle.to_tensor([[0, math.pi/3], [-math.pi/3, 0]])
out = paddle.linalg.matrix_exp(mat_a)
print(out)