L1和L2范数正则化

L0范数表示向量中非零元素的个数 [2]
∥x∥0=#i,wherexi≠0
最小化L0范数，就是尽量让 xi 为0，所以它可以做稀疏编码和特征选择。但是最小化L0范数是一个NP hard问题，难以求解，一般用它的最优凸近似即L1范数代替。

L1范数表示向量中所有元素的绝对值和
∥x∥1=∑ni=1∣∣xi∣∣

L2范数表示欧氏距离
∥x∥2=∑ni=1x2i‾‾‾‾‾‾‾‾√

Lasso回归: J(w)=1n∥∥Xw−y∥∥2+λ∥w∥1
Ridge回归: J(w)=1n∥∥Xw−y∥∥2+λ∥w∥2
等价于
Lasso回归: minw1n∥∥Xw−y∥∥2,s.t.∥w∥1≤C
Ridge回归: minw1n∥∥Xw−y∥∥2,s.t.∥w∥2≤C
等价后的问题可以用下图 [1] 表示：

假设参数只有两个： w1,w2
L1：因为 ∥w∥1≤C ，所以 ∣∣w1∣∣+∣∣w2∣∣≤C ，在图上画出来就是一个菱形。
L2：因为 ∥w∥1≤C ，所以 w21+w22‾‾‾‾‾‾‾‾√≤C ，在图上画出来就是一个圆形。

求等价后的问题就是求: 等高线（从中心向外辐射）和约束线（菱形或圆形）的第一个交点。
对于L1来说，交点一般出现在y轴上，这意味着 w1=0 。所以L1具有稀疏性，可用于特征选择
对于L2来说，交点一般在圆上，这意味着 w1,w2 都不为0。

参考：
[1]http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#0207509841e77ec485b05a8ad73ee5e41f200b57
[2]http://www.cnblogs.com/little-YTMM/p/5879093.html