PyTorch 分类任务的softmax以及CrossEntropyLoss

时间:2025-04-28 14:07:40

多分类任务不需要在输出层使用softmax函数

今天在看()的文档的时候看到两句话:
input is expected to contain raw, unnormalized scores for each class.
input 的维度要求是 [batch, C],其中C是分类的总数
的维度直接是 batch就行了,而不需要进行 one-hot
猛然醒悟,原来CorssEntropyLoss()函数里面会自动调用softmax函数
而不需要我们在网络的输出层套用softmax函数,只需输出原始的logits即可
原来我之前一直搞错了!

softmax()函数到底是干嘛的?

它可以将一个向量,例如 [1, 2, 3, 4]变成和为1的概率值
具体做法是将向量的每一个元素都求一下指数值,比如e, e平方, e立方,e4次方
然后将这四个值求和,每个值与和的比值就变成了对应的概率预测值

()会自动调用这个函数,
所以我们只需要将网络的原始输出logits和标签labels直接放入计算即可

() 即 Binary Cross Entropy Loss

()不像()一样会自动调用softmax()函数
所以我们需要手动过一遍softmax然后才能放进BCELoss()

不过,何必搞得这么麻烦,二分类任务也使用CrossEntropyLoss就完事了!!!