参考博客：https://zhuanlan.zhihu.com/p/35356992
https://zhuanlan.zhihu.com/p/25707761
https://www.zhihu.com/question/37096933/answer/70426653
首先正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化的值会越大。
正则化是结构风险最小化的一种策略实现，在经验风险最小化的基础上（也就是训练误差最小化），尽可能采用简单的模型，以此提高泛化预测精度。
经验风险较小的模型可能较复杂，这时会使正则化项变大。正则化的作用就是选择经验风险和模型复杂度同时较小的模型。
同时也符合奥卡姆剃刀原理：在所有可能选择的模型中，能够很好解释数据并且十分简单才是好的模型。通过降低模型的复杂度，得到更小的泛化误差，降低过拟合程度。
h（w）是目标函数 f（w）是没有加正则化的目标函数 c|w|是L1正则项，要是0点成为最可能的点，因为在0点处不可导，但是只需让0点左右的导数异号即可。
最终解的：
，所以只要满足这个条件，0点都是最值点。
两种 regularization 能不能把最优的 w变成 0，取决于原先的损失函数在 0 点处的导数。
如果本来导数不为 0，那么施加 L2 regularization 后导数依然不为 0，最优的 x 也不会变成 0。
而施加 L1 regularization 时，只要 regularization 项的系数 C 大于原先损失函数在 0 点处的导数的绝对值，x = 0 就会变成一个极小值点。
作者：王赟 Maigo
链接：https://www.zhihu.com/question/37096933/answer/70426653
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
、