【漫话机器学习系列】069.哈达马乘积（Hadamard Product）
哈达马乘积（Hadamard Product）
哈达马乘积（Hadamard Product）是两个矩阵之间的一种元素级操作，也称为逐元素乘积（Element-wise Product）。它以矩阵的对应元素相乘为规则，生成一个新的矩阵。
哈达马乘积常用于机器学习和深度学习中，特别是在神经网络的前向传播与后向传播中。
定义
对于两个形状相同的矩阵 A 和 B，它们的哈达马乘积定义为：
其中，矩阵 C 的每个元素由 A 和 B 的对应位置元素相乘得到：
示例
假设两个 2 × 2 的矩阵 A 和 B 为：
它们的哈达马乘积 C 为：
性质
-
矩阵维度要求
哈达马乘积要求两个矩阵的维度必须相同，否则无法进行运算。 -
可交换性
哈达马乘积具有可交换性： -
结合性
-
与标量相容
-
与矩阵乘积不同
哈达马乘积不等同于普通矩阵乘法，它是逐元素运算，而普通矩阵乘法涉及行和列的运算规则。
代码示例
以下是 Python 的 NumPy 实现哈达马乘积的代码示例：
import numpy as np
# 定义矩阵 A 和 B
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])
# 哈达马乘积
C = A * B # 或 np.multiply(A, B)
print("矩阵 A:\n", A)
print("矩阵 B:\n", B)
print("哈达马乘积 C:\n", C)
矩阵 A:
[[1 2]
[3 4]]
矩阵 B:
[[5 6]
[7 8]]
哈达马乘积 C:
[[ 5 12]
[21 32]]
应用场景
-
深度学习
- 在神经网络的反向传播中，权重梯度的计算会使用哈达马乘积。
- 用于激活函数的按元素操作。
-
特征选择
- 在特征选择过程中，哈达马乘积可以用于筛选特定的特征或操作加权矩阵。
-
图像处理
- 在图像处理中，可用于对像素点进行逐元素操作，如滤波或混合。
-
数值分析
- 在数值模拟和计算中，用于逐元素计算而非矩阵乘法。
哈达马乘积作为一种简单而高效的操作，在矩阵运算中扮演着重要的角色，尤其是在处理逐元素运算问题时，是不可或缺的工具。