首先看一段代码,如下所示:
import torch
input = torch.ones(3, 5)
print(input)
result1 = torch.sum(input, dim=0)
print(result1)
result2 = torch.sum(input, dim=1)
print(result2)
结果为:
tensor([[1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1.]])
tensor([3., 3., 3., 3., 3.])
tensor([5., 5., 5.])
当dim=0的时候,sum操作是这样执行的:

当dim=1的时候,sum操作是这样执行的:

Softmax是一种激活函数,它可以将一个数值向量归一化为一个概率分布向量,且各个维度上的概率值相加之后的和为1。
对于向量中的每个元素,Softmax函数的计算公式如下:
$$ \text{Softmax}(x_i) = \frac{\exp(x_i)}{\sum_j \exp(x_j)} $$
其中,$x_i$ 是向量中的第 $i$ 个元素,分母是所有元素经过指数函数计算后的和。这样,每个元素的输出都在 $0$ 到 $1$ 之间,并且所有输出的和为 $1$。
在PyTorch中,可以通过torch.nn.functional模块中的softmax函数来实现Softmax操作。使用时需要指定输入数据以及在哪个维度上进行Softmax操作。
需要注意的是:对于二维数据,dim=0会在列上应用Softmax,而dim=1会在行上应用。这个道理,如同上文中sum函数类似。
以下是一个使用PyTorch中Softmax函数的示例代码:
import torch
import torch.nn.functional as F
# 创建一个浮点型张量
data = torch.FloatTensor([[1.0, 2.0, 3.0], [4.0, 6.0, 8.0]])
# 在列上应用Softmax
prob = F.softmax(data, dim=0)
# 输出Softmax后的概率分布
print(prob)
输出结果将是一个与输入形状相同的张量,其中包含了转换后的概率值。如下所示:
tensor([[0.0474, 0.0180, 0.0067],
[0.9526, 0.9820, 0.9933]])
如果dim=1,则在行中应用Softmax,其结果如下所示:
tensor([[0.0900, 0.2447, 0.6652],
[0.0159, 0.1173, 0.8668]])