主成分分析应用之主成分回归

时间:2024-02-29 13:48:50

主成分回归分析

 

对于OXY数据集的变量解释如下:

 

对上述数据进行回归模型的拟合,得到模型:


从模型的显著性检验结果看出:除了常数项以及β3显著,其他变量系数都不通过显著性检验。同时,从模型整体拟合效果来看,R^20.8618,调整的R^20.7697,整体拟合效果可以通过。最后,p值为0.00198说明,拒绝原假设,即有理由认为回归模型从整体上拟合效果比较好。

下面针对系数通不过检验进行分析。

 ##残差图,异方差,自相关检验


plot(lm.sol$residuals,main = "the residuals of liner model",ylab = "re")


abline(h=0,lty=2)


#多重共线性检验


kappa(qr(OXY))

结果:


借助残差图,其随机围绕着re=0波动,可以排除模型不存在自相关以及异方差问题。

kappa(qr(OXY))
[1] 264.2117

 由其条件数为264大于100,可认为,该模型存在较强的多重共线性。

则采用主成分回归法,来消减模型存在多重共线性带来的影响,即系数通不过显著性检验。

 

 

 

求主成分:


 

cumulative proportion可以得到当主成分个数m等于3时,累计贡献率为83.526%大于80%,即可认为前三个主成分,就基本提取了原数据绝大部分的信息。所以,以前三个主成分的得分值作其观测值z1z2z3,并把它添加到数据集OXY中,建立回归模型:

 y =46.3800+2.0593*z1 -1.4782*z2 +0.6950*z3

 

可从summarylm.sol.1)结果得到,除了z3的系数没通过显著性检验。同时模型的整体

 

拟合效果得到提高,R^20.8676,调整的R^20.8345,同时p值远远小于0.05,说明

 

模型整体拟合效果较佳。

lm.sol.1<-lm(y~z1+z2+z3, data=OXY)
summary(lm.sol.1)


Call:
lm(formula = y ~ z1 + z2 + z3, data = OXY)


Residuals:
    Min      1Q  Median      3Q     Max 
-2.3880 -1.5069  0.3160  0.7009  4.3672 


Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  46.3800     0.4762  97.394  < 2e-16 ***
z1            2.0593     0.2591   7.950 4.01e-06 ***
z2           -1.4782     0.4093  -3.611  0.00357 ** 
z3            0.6950     0.4512   1.540  0.14942    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1


Residual standard error: 1.905 on 12 degrees of freedom
Multiple R-squared:  0.8676, Adjusted R-squared:  0.8345 
F-statistic:  26.2 on 3 and 12 DF,  p-value: 1.49e-05

使用逆变换法,得到原始变量的回归方程:

beta<-coef(lm.sol.1); A<-loadings(prin.oxy)
x.bar<-prin.oxy$center; x.sd<-prin.oxy$scale
coef<-(beta[2]*A[,1]+ beta[3]*A[,2])/x.sd
beta0 <- beta[1]- sum(x.bar * coef)
c(beta0, coef)
(hntercept)          x1          x2          x3          x4          x5          x6           y 
84.48047095 -0.19517781 -0.11688617 -1.04312708 -0.12361966 -0.03916300 -0.05573319  0.31272008 

 

 

即可以得到原始变量的回归方程

从其系数可以大致得到以下结论:

即认为人体肺活量与年龄,体重,脉搏成负相关,与运动时最大脉搏成正比。