多特征线性回归

时间:2023-02-23 16:05:33

在单特征线性回归模型中,我们通过一个特征对目标变量进行预测,例如通过房子的大小来预测房价。但实际现实生活中,影响房价的因素往往不止面积一个,例如还有房间数、楼层、位置等等,所以我们需要用到多特征的模型来对房价进行预测。

一、规定符号

xj:第j个特征

n:特征的数量

x(i):第i个训练样本,是一个包含n个特征的行向量

xj(i):表示第i个样本的第j个特征

二、模型

多特征线性回归

三、向量化

使用向量化可以简化模型,减少计算量和代码量,提升代码的执行速度。

多特征线性回归

四、梯度下降

多特征线性回归

五、正规方程

线性回归中一种寻找参数w、b的方式,该方法不用进行多次迭代梯度下降,直接使用高级线性代数知识求解。但是正规方程无法推广到其他机器学习算法,且当样本特征数量非常大时,运行速度非常慢。某些机器学习库会在后台使用这种方法解出w、b,但是大多数情况下都不会使用。

六、特征缩放

1、什么是特征缩放?

特征缩放是机器学习中一项重要的技术,可大大提升梯度下降的速度。

在预测房价的例子中,假设有两个影响房价的特征,面积和房间数,面积的取值范围是300-5000,房间数的取值范围是0-5,我们会发现面积和房间数的取值范围相差过大。当我们选择参数时,如果面积的参数(也称为权重)较大而房间数的参数较小,这样会导致最终预测的价格与实际的价格偏差较大,因为面积因素占的权重较大,对房价的影响占主要部分。为预测更精准,面积的参数应该选择较小的,房间数的参数应该选择较大的。

特征缩放对梯度下降会产生很大的影响,如图

多特征线性回归

特征的范围差异过大时,在散点图中,样本点都集中特征范围较大的那一侧,在在成本函数等高线图中,图形变得长且窄,梯度下降很可能越过全局最小值左右横跳。

2、如何实现特征缩放?

1、最大值

多特征线性回归

2、均值归一化

多特征线性回归

3、Z-score标准化(Z-score归一化/规范化)

多特征线性回归
    注:分母为该特征的标准差

3、特征缩放的范围

多特征线性回归

七、判断梯度下降是否收敛

1、绘制学习曲线

通过绘制成本函数学习曲线图,可直观地观察到梯度下降是否收敛,同时也可观察到趋于收敛时的迭代次数。

多特征线性回归

2、自动收敛测试

设置一个很小的值e,例如令它为0.001,判断每一次梯度下降对成本函数的改变是否小于或等于这个极小值,如果是则说明梯度下降现在比较平缓,也就是趋于收敛。但这个极小值e是很难选择的,所以一般更推荐绘制学习曲线。

八、选择合适的学习率

当学习率过小时,下降的步子过小,导致到达最低点需要很多步,需要的时间也更多;

当学习率过大时,下降的步子较大,可能越过最低点,导致越来越远,甚至永远也到达不了最低点。

为什么我们可以采用固定的学习率?因为越靠近最低点,斜率将会越来越小,等于迈的步子越来越小了,最终也会慢慢靠近最低点。

如何选择合适的学习率呢?通常,可使用一些常见的值例如0.001、0.01、0.1、1.......,每次将学习率提高十倍,再结合学习曲线来判断学习率是否得当。

多特征线性回归多特征线性回归

九、特征工程

特征工程指的是为算法选择或设计最合适的特征。

例如在预测房价的例子中,房子有长和宽两个特征,但是我们知道房子的面积是等于长乘以宽,因此会预感到面积更能预测房价,因此我们可以构建一个新的特征即面积,加入到模型中。

我们可以结合知识以及实际设计新的特征,使其帮助算法更简单、更准确的做出预测。

十、多项式回归

在此之前,我们都是选择使用直线来拟合数据集,但是在有的情况下,使用曲线或其他函数可能更好的拟合数据集,所以就需要采用多项式回归。例如,模型中包含二次项、三次项、根号项等,根据实际情况构造合适的多项式,使其更好地拟合。

十一、实现

部分数据集合和代码

2104,3,399900
1600,3,329900
2400,3,369000
1416,2,232000
3000,4,539900
1985,4,299900
1534,3,314900
1427,3,198999
1380,3,212000
1494,3,242500
1940,4,239999
2000,3,347000
1890,3,329999
4478,5,699900
1268,3,259900
......
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


alpha = 0.01  # 学习速率α
iters = 1000  # 要执行的迭代次数。

path = './data/ex1data2.txt'
data = pd.read_csv(path, header=None, names=['Size', 'Bedrooms', 'Price'])
data.head()  # 输出前五行

# 特征缩放
data = (data - data.mean()) / data.std()  # Z-score标准化
# data = (data - data.max()) / (data.max() - data.min())  # max-min归一化
# data = data / (np.abs(data.max()))  # MaxAbs标准化

# 在训练集中添加一列,以便我们可以使用向量化的解决方案来计算代价和梯度
data.insert(0, 'One', 1)

# 获取列数
cols = data.shape[1]

X = data.iloc[:, 0:cols - 1]  # 所有行,不包含最后一列
y = data.iloc[:, cols - 1:cols]  # 所有行,只包含最后一列

# np.matrix()函数用于从类数组对象或数据字符串返回矩阵
X = np.matrix(X.values)
y = np.matrix(y.values)

# 初始化参数矩阵
theta = np.matrix(np.array([0, 0, 0]))  # 1x3矩阵


def computeCost(X, y, theta):
    """代价函数"""
    num = len(X)
    inner = np.power(((X * theta.T) - y), 2)
    cost = np.sum(inner) / (2 * num)
    return cost


def gradientDescent(X, y, theta, alpha, iters):
    """梯度下降"""
    temp = np.matrix(np.zeros(theta.shape))
    parameters = int(theta.ravel().shape[1])
    cost = np.zeros(iters)

    for i in range(iters):
        error = (X * theta.T) - y

        for j in range(parameters):
            term = np.multiply(error, X[:, j])
            temp[0, j] = theta[0, j] - ((alpha / len(X)) * np.sum(term))

        theta = temp
        cost[i] = computeCost(X, y, theta)

    return theta, cost


def normalEqn(X, y):
    """正规方程"""
    # np.linalg.inv():矩阵求逆
    theta = np.linalg.inv(X.T @ X) @ X.T @ y  # @等价于 X.T.dot(X)
    return theta.T


# 执行梯度下降
g, cost = gradientDescent(X, y, theta, alpha, iters)

# 使用正规方程求参
g1 = normalEqn(X, y)  
cost1 = computeCost(X, y, g1)

# 未训练前的代价
print("梯度下降代价值:", computeCost(X, y, g))
print("正规方程代价值:", computeCost(X, y, g1))

# 绘制训练曲线
fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(np.arange(iters), cost, 'r')
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
plt.show()