当前位置：首页 > article >正文

pytorch中一个tensor经过多次softmax会有什么变化？

article 2024/12/2 18:54:36

在 PyTorch 中，一个 Tensor 经过多次 softmax 操作时，其值会逐渐趋向于某种分布，但并不会无限变化。以下是具体的行为与原因分析：

1. Softmax 的作用：

Softmax 将输入张量的值转换为一个概率分布，满足以下特性：

输出的值范围在 (0,1)(0, 1)(0,1) 之间。
所有输出值的和为 1。

公式如下：

$softmax(x_i) = \frac{exp(x_i)}{\sum_{j=1}^{n} exp(x_j)}$

2. 多次 softmax 的影响：

如果对一个 Tensor TTT 反复进行 softmax 操作，每次的结果都会受到数值分布的影响：

(a) 初始影响：

经过第一次 softmax 后，数值被归一化为概率分布。此时，数值的绝对大小会被压缩，差距较大的值会得到显著的强化，而差距较小的值会趋于均匀。

(b) 多次 softmax 的收敛性：

逐渐趋于极值： 如果某些值在初始分布中较大，经过多次 softmax 后，它们的相对比例会越来越大，而较小的值会进一步被压缩为接近零。

最终，分布可能会接近 one-hot 分布，即一个值接近 1，其余值接近 0。
概率收敛： 因为 softmax 操作本身是对数值的指数运算，它会逐步放大数值之间的差距。经过多次迭代后，较大的值会占据主要比例，小的值会被排挤。

3. 实验举例：

用 PyTorch 验证：

import torch
import torch.nn.functional as F

# 初始 Tensor
t = torch.tensor([1.0, 2.0, 3.0])
print("初始 Tensor:", t)

# 连续执行 softmax
for i in range(10):
    t = F.softmax(t, dim=0)
    print(f"第 {i+1} 次 softmax 结果:", t)

可能的输出：

初始 Tensor: tensor([1., 2., 3.])
第 1 次 softmax 结果: tensor([0.0900, 0.2447, 0.6652])
第 2 次 softmax 结果: tensor([0.2535, 0.2959, 0.4506])
第 3 次 softmax 结果: tensor([0.3066, 0.3199, 0.3734])
第 4 次 softmax 结果: tensor([0.3244, 0.3288, 0.3468])
第 5 次 softmax 结果: tensor([0.3304, 0.3318, 0.3378])
第 6 次 softmax 结果: tensor([0.3323, 0.3328, 0.3348])
第 7 次 softmax 结果: tensor([0.3330, 0.3332, 0.3338])
第 8 次 softmax 结果: tensor([0.3332, 0.3333, 0.3335])
第 9 次 softmax 结果: tensor([0.3333, 0.3333, 0.3334])
第 10 次 softmax 结果: tensor([0.3333, 0.3333, 0.3334])

可以观察到：