1 Introduction
1.1 概念:一个程序被认为能从经验E
中学习,解决任务 T
,达到性能度量值P
,当且仅当, 有了经验E
后,经过P
评判, 程序在处理 T
时的性能有所提升。
1.2 机器学习分类:
监督学习 supervised learning : 回归(regression)、分类(classification)
非监督学习 unsupervised learning : 聚类(clustering)、非聚类(non-clustering)
2 Linear Regression(一个变量的线性回归)
2.1 线性回归的表示
以预测房价为例,像这样用一条线来预测房价走势,成为线性回归。
假设函数:hθ(x)=θ0+θ1∗x
目标:找到θ0和θ1(模型参数)使模型尽量与数据点很好的拟合。
2.2 Cost Function
平方误差代价函数定义如下:
目标即使代价函数最小。代价函数图像如下。
2.3 梯度下降法寻找参数
公式如下:
重复计算这个公式,直到函数收敛。由上图可知,导数的方向是使θ1往局部最小值的方向更新的。α是决定步长的参数,成为学习率。α如果过小,会收敛很慢,过大会不收敛。
注意公式中的θ1、θ2应该同时更新。
2.4 总结
本章讲了三个层次的公式。
1. 模型函数:
2. 代价函数
3. 梯度下降法求解参数
以上就可以求出一个预测房价的线性回归模型
3 线性代数基础知识复习
3.1 矩阵和向量
3.2 矩阵的数乘、矩阵的转置运算
3.3 矩阵之间的加减法、乘法