机器学习六--回归--简单线性回归Simple Linear Regression

一、回归和分类

　　回归（regression）y变量为连续数值型(continuous numerical variable)，如房价，降雨量。

　　分类（classification）y变量为类别型categorical variable。如颜色类别，电脑品牌等。

二、统计量：描述数据特征

　　2.1集中趋势衡量：均值（mean），中位数，众数。

　　2.2离散程度衡量：方差       标准差S

三、简单线性回归介绍

　　1、简单线性回归包含一个自变量（x）和一个因变量（y）

　　2、以上两个变量的关系用一条直线来表示。

　　3、如果包含两个以上自变量，则称多元回归分析（mutiple regression）

四、 简单线性回归模型

     4.1 被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型

     4.2 简单线性回归的模型是:

  

其中：              参数                   偏差

　　

　　4.3关于偏差ε的假定

     　　　　1、 是一个随机的变量，均值为0

　 　　　　2、ε的方差(variance)对于所有的自变量x是一样的

     　　　　3、 ε的值是独立的

     　　　　4、 ε满足正态分布

 

五、简单线性回归方程

                         E(y) = β ₀+β ₁x 

         这个方程对应的图像是一条直线，称作回归线

         其中，β ₀是回归线的截距

                  β ₁是回归线的斜率  

                  E(y)是在一个给定x值下y的期望值（均值）

六、估计的简单线性回归方程

          ŷ=b₀+b₁x

     这个方程叫做估计线性方程(estimated regression line)

     其中，b₀是估计线性方程的纵截距

　　　　　　

               b₁是估计线性方程的斜率

　　　　　　

 

               ŷ是在自变量x等于一个给定值的时候，y的估计值

　　 最佳的回归线满足条件：

　　　　　　

import numpy as np
x=[1,3,2,1,3]
y=[14,24,18,17,27]
def fitSLR(x,y):
　　n=len(x)
　　fenzi=0
　　fenmu=0
　　for i in range(n):
　　　　fenzi+=(x[i]-np.mean(x))*(y[i]-np.mean(y))#分子
　　　　fenmu+=(x[i]-np.mean(x))**2#分母
　　b1=fenzi/fenmu
　　b0=np.mean(y)-b1*np.mean(x)
　　return b0,b1
def predict(x,b0,b1):
　　y=b0+b1*x
　　return y
b0,b1=fitSLR(x,y)
print(b0,'###',b1)
predict(6,b0,b1)