数学模型--岭回归和Lasso回归

时间:2024-03-25 08:04:54

一、岭回归和Lasso回归的基础_OLS回归的矩阵推导

传统的回归上,增加了限定条件 (惩罚项 )

OLS:普通最小二乘法

简化,可估计 数学模型--岭回归和Lasso回归
数学模型--岭回归和Lasso回归
回归里很重要的 y = xβ + ε

1.假定一:线性假定

数学模型--岭回归和Lasso回归

2.假设二:严格外生性

保证估计出来的回归系数无偏且一致

扰动项均值为0数学模型--岭回归和Lasso回归

数学模型--岭回归和Lasso回归

3.假定三:完全无 多重共线性

保证能估计出来

数学模型--岭回归和Lasso回归

4.假定四:球形扰动项

数学模型--岭回归和Lasso回归
数学模型--岭回归和Lasso回归
数学模型--岭回归和Lasso回归

二、岭回归和Lasso回归的原理

1.岭回归的原理

数学模型--岭回归和Lasso回归

2.如何选择λ

收敛数学模型--岭回归和Lasso回归
数学模型--岭回归和Lasso回归

数学模型--岭回归和Lasso回归
数学模型--岭回归和Lasso回归
不断改变我们的λ,直至整个样本MSPE最小,就具有了最佳的预测能力.

3.lasso回归的原理(筛选变量,还是需要再次回归)

lasso回归用的比较多
lasso回归可以将不重要的变量的回归系数压缩至0(升级版的逐步回归)
数学模型--岭回归和Lasso回归

三、lass回归应用_利用Stata进行变量筛选

数学模型--岭回归和Lasso回归

运行后

数学模型--岭回归和Lasso回归
这就是我们要的最小MSPE
然后λ就是69.020233
预测最小均方差就是6464.6286

数学模型--岭回归和Lasso回归

1.什么时候用lasso回归

数学模型--岭回归和Lasso回归

数学模型--岭回归和Lasso回归

数学模型--岭回归和Lasso回归
可以分析标准前,也可以是标准化后的结果,因为lasso回归只是筛选变量

四、实现lasso

数学模型--岭回归和Lasso回归
数学模型--岭回归和Lasso回归