文件名称：tensorflow使用L2 regularization正则化修正overfitting过拟合方式
文件大小：98KB
文件格式：PDF
更新时间：2024-01-07 06:48:19
ar ens fl
L2正则化原理： 过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。 可见，要想减小过拟合，减小这个波动，减少w的数值就能办到。 L2正则化训练的原理：在Loss中加入（乘以系数λ的）参数w的平方和，这样训练过程中就会抑制w的值，w的（绝对）值小，模型复杂度低，曲线平滑，过拟合程度低（奥卡姆剃刀），参考公式如下图： （正则化是不阻碍你去拟合曲线的，并不是所有参数都会被无脑抑制，实际上这是一个动态过程，是loss（cross_entropy）和L2 loss博弈的一个过程。训