softmax
把输入的x值进行e(e的x次方)操作,使大的更大小的更小,然后再对输入值求概率,则大的概率也大,小大概率也小,具体操作入下图
softmax计算公式如下:
S i = e i ∑ j e j S_i = \dfrac{e^i}{\sum_j{e^j}} Si=∑jejei
softmax loss
softmax loss就是经过softmax激活之后计算的loss值,公式如下
l
o
s
s
=
∑
y
i
l
o
g
S
i
loss = \sum{y^ilogS_i}
loss=∑yilogSi
其中yi为0或1(若是这个类则为1,不是则为0)
log是以e为低的对数
cross-entropy
cross-entropy同softmax loss