penalty term 和 loss function 看起来很相似,但其实二者完全不同。
惩罚因子:
penalty term的作用是把受限优化问题转化为非受限优化问题。
比如我们要优化:
min f(x) = $x^2 - 10x$ x 受限于 g(x) = x -3 <= 0
我们可以利用惩罚因子,将上述问题转化为非受限约束问题,也就是拿掉g(x)的限制。
函数变为:
min P(x,s,r) = $x^2 - 10x + sr\phi(x - 3)$
其中s = +1 或-1, r 是控制变量,单调增或减, $\phi$是惩罚函数。
如果我们令 s = 1, r = 1, $\phi = x^2$,则:
min P(x,s,r) = $x^2 - 10x + (x-3)^2$
最终得到结果是错的,原因是r太小,如果我们将r = 100,最终就能得到对的结果。
也就是说,在迭代优化过程中,r是单调变量,如果优化结果不满足约束条件,那么可调节r的值,继续迭代,直至满足为止。
损失函数(loss function):
损失函数是分类(或回归)过程中计算分类结果错误(损失)的函数。为了检验分类结果,只要使总损失函数最小即可。
以0,1分类为例:
如果我们把一个样本分类正确记为1,错误记为0,那么这就是最简单的0,1 loss function.
如果记$l(y) = max(0,1 - ty)$,其中 t为预期结果,y为实际结果,那这就是hinge loss.
其他常用的还有 logistic loss等。
选择合适的损失函数是分类问题的关键之一,对于分类问题最好的是hinge loss. [1]
参考:
[1] Rosasco, Lorenzo, et al. "Are loss functions all the same?." Neural Computation 16.5 (2004): 1063-1076.
[2] http://web.engr.oregonstate.edu/~paasch/classes/me517/week7/penalty.html
[3] https://en.wikipedia.org/wiki/Hinge_loss