coursera-斯坦福-机器学习-吴恩达-笔记week1

时间:2022-01-25 12:43:18

1 Introduction

1.1 概念:一个程序被认为能从经验E中学习,解决任务 T,达到性能度量值P,当且仅当, 有了经验E后,经过P评判, 程序在处理 T 时的性能有所提升。

1.2 机器学习分类:
监督学习 supervised learning : 回归(regression)、分类(classification)
非监督学习 unsupervised learning : 聚类(clustering)、非聚类(non-clustering)

2 Linear Regression(一个变量的线性回归)

2.1 线性回归的表示
以预测房价为例,像这样用一条线来预测房价走势,成为线性回归。

coursera-斯坦福-机器学习-吴恩达-笔记week1

假设函数:hθ(x)=θ01∗x
目标:找到θ0和θ1(模型参数)使模型尽量与数据点很好的拟合。

2.2 Cost Function

平方误差代价函数定义如下:

coursera-斯坦福-机器学习-吴恩达-笔记week1

目标即使代价函数最小。代价函数图像如下。

coursera-斯坦福-机器学习-吴恩达-笔记week1

2.3 梯度下降法寻找参数

coursera-斯坦福-机器学习-吴恩达-笔记week1

公式如下:

coursera-斯坦福-机器学习-吴恩达-笔记week1

重复计算这个公式,直到函数收敛。由上图可知,导数的方向是使θ1往局部最小值的方向更新的。α是决定步长的参数,成为学习率。α如果过小,会收敛很慢,过大会不收敛。
注意公式中的θ1、θ2应该同时更新。

coursera-斯坦福-机器学习-吴恩达-笔记week1

2.4 总结

本章讲了三个层次的公式。

1. 模型函数:

coursera-斯坦福-机器学习-吴恩达-笔记week1

2. 代价函数

coursera-斯坦福-机器学习-吴恩达-笔记week1

3. 梯度下降法求解参数

coursera-斯坦福-机器学习-吴恩达-笔记week1

以上就可以求出一个预测房价的线性回归模型

coursera-斯坦福-机器学习-吴恩达-笔记week1

3 线性代数基础知识复习

3.1 矩阵和向量

3.2 矩阵的数乘、矩阵的转置运算

3.3 矩阵之间的加减法、乘法