1.理解回归
- 确定一个唯一的因变量（需预测的值）和一个或多个数值型的自变量（预测变量）之间的关系。
- 回归分析对数据间复杂关系建立模型，用来估计一种处理方法对结果影响和推断未来。也可用于假设检验。
- 线性回归：直线回归模型
- 简单线性回归：单一自变量
- 多元回归：多变量
也可对分类变量做回归：
- 逻辑回归：对二元分类的结果建模
- 泊松回归：对整型的计数数据建模
线性回归、逻辑回归、泊松回归以及其他许多回归都属于广义线性模型（GLM）。
1）简单线性回归
方程就是一条直线：
做回归分析时，设计对α和β寻找参数估计（一般用a和b来表示）。
2）普通最小二乘估计
普通最小二乘法（OLS）：确定α和β的最优估计值，即斜率和截距的选择要使得误差（y的预测值与y的真实值之间的垂直距离，即残差）的平方和最小。
通过演算，使得误差平方最小的b值为：
即：
a的最优值为：
3）相关系数
Pearson相关系数：
经验规则（大拇指规则）来解释相关系数：
0.1-0.3弱相关；0.3-0.5中相关；0.5以上强相关，但必须根据上下文解释。
4）多元线性回归
多元回归方程：
可表示为：
经过推导（略），可计算向量β最佳估计：
可编写一个简单回归函数reg，输入y和x，返回一个估计的β系数矩阵：
reg <- function(y,x){
x <- as.matrix(x)
x <- cbind(Intercept=1,x)
#solve执行矩阵逆运算， %*%两个矩阵相乘
solve(t(x) %*% x) %*% t(x) %*% y
}
2.线性回归应用示例
预测医疗费用：利用病人的数据来预测他们的平均医疗费用，进而创建一个精算表来设定年度保费的价格。
1）收集数据
1338个案例，包括保险受益者，病人特点（年龄、性别、BMI、区域等）和历年计划计入的总医疗费用的特征。
数据下载：
链接: https://pan.baidu.com/s/1Hgn5jad2O1HCgNSJrzT9MA 提取码: vjr9
2）探索和准备数据
## Example: Predicting Medical Expenses ----
## Step 2: Exploring and preparing the data ----
insurance <- read.csv("insurance.csv", stringsAsFactors = TRUE)
str(insurance)
# summarize the charges variable
summary(insurance$expenses)
# histogram of insurance charges
hist(insurance$expenses)
# table of region
table(insurance$region)
# exploring relationships among features: correlation matrix
cor(insurance[c("age", "bmi", "children", "expenses")])
# visualing relationships among features: scatterplot matrix
pairs(insurance[c("age", "bmi", "children", "expenses")])
# more informative scatterplot matrix
library(psych)
pairs.panels(insurance[c("age", "bmi", "children", "expenses")])
两个变量相关性由椭圆形状表示：越拉伸相关性越强。每个变量的局部回归平滑曲线表示x轴和y轴变量之间的一般关系。倒U形（如age和bmi）
3）训练数据
## Step 3: Training a model on the data ----
ins_model <- lm(expenses ~ age + children + bmi + sex + smoker + region,
data = insurance)
ins_model <- lm(expenses ~ ., data = insurance) # this is equivalent to above
# see the estimated beta coefficients
ins_model
截距很难解释，没有内在意义，在实际中常常被忽略。
指定6个变量，但输出了10个系数：因为lm函数将虚拟编码自动应用于因子类型的变量中。
估计的系数是相对于参照类别解释的。
4）评估模型
## Step 4: Evaluating model performance ----
# see more detail about the estimated beta coefficients
summary(ins_model)
5）提高模型性能
①添加非线性关系
如添加一个高阶项到回归模型中，把模型当成多项式处理。比如年龄对医疗费用的影响可能不是恒定的，越老的人，治疗费越高，考虑将age创建一个新的非线性变量age^2
②将一个数值型变量转换为二进制指标
当一个特征的影响不是累积的，而是当特征的取值达到一个给定的阈值后才产生影响。比如BMI只有大于30时才有影响。
③加入相互作用的影响
当两个特征存在共同影响时，可考虑相互作用，如肥胖指标bmi30和吸烟指标smoker可能存在相互作用。
④综合以上三点一起改进
## Step 5: Improving model performance ----
# add a higher-order "age" term
insurance$age2 <- insurance$age^2
# add an indicator for BMI >= 30
insurance$bmi30 <- ifelse(insurance$bmi >= 30, 1, 0)
# create final model
ins_model2 <- lm(expenses ~ age + age2 + children + bmi + sex +
bmi30*smoker + region, data = insurance)
summary(ins_model2)
R方从0.75提高到了0.87，即模型现在能解释医疗费用变化的87%。
机器学习与R语言系列推文汇总：
【机器学习与R语言】1-机器学习简介
【机器学习与R语言】2-K近邻（kNN）
【机器学习与R语言】3-朴素贝叶斯（NB）
【机器学习与R语言】4-决策树
【机器学习与R语言】5-规则学习
【机器学习与R语言】6-线性回归
【机器学习与R语言】7-回归树和模型树
【机器学习与R语言】8-神经网络
【机器学习与R语言】9-支持向量机
【机器学习与R语言】10-关联规则
【机器学习与R语言】11-Kmeans聚类
【机器学习与R语言】12-如何评估模型的性能？
【机器学习与R语言】13-如何提高模型的性能？