吴恩达机器学习笔记_第三周

时间:2022-12-03 20:13:32

Logistic Regression逻辑回归(分类):

0:Negative Class

1:Positive Class

二元分类问题讲起,虽然有回归二字,其实为分类算法,处理离散y值。

吴恩达机器学习笔记_第三周

 

输出以以条件概率表示,若P(y=1|x;theta)= 0.7,表示有70%的概率y=1.那么有30%的概率y=0

 

决策边界(DecisionBoundary):当z=0,即thetaT*X的值等于零时,此时假设函数为0.5

吴恩达机器学习笔记_第三周

 

下面是另一个边界的例子:

吴恩达机器学习笔记_第三周

只要得到theta值,就能得到决策边界

 

逻辑回归的代价函数很可能是一个非凸函数(non-convex),有很多局部最优点,所以如果用梯度下降法,不能保证会收敛到全局最小值。

 

单次的代价函数如下:

吴恩达机器学习笔记_第三周

最终多样本的代价函数以及我们要做的工作:

吴恩达机器学习笔记_第三周

根据前面的方法,同时地进行梯度下降法求出theta向量。

 

优化方法:共轭梯度、BFGS等等,无需选学习率,自动的,比梯度下降快,但是复杂。建议直接调用库。

 

多元分类:

1对多方法

吴恩达机器学习笔记_第三周

h函数其实就对应着条件概率,所以就是训练三个分类器,选条件概率最高的。

 

过拟合问题overfitting——正则化Regulation

对训练数据效果很好,但无法对新数据进行很好的预测,泛化能力弱,就是一般性不好

参数过多,高阶项多等。

解决方法:

1、减少特征数量(找主要的,或者用算法找)

2、正则化(保留所有参数,但较少维度或数量级)

 

正则化项:加入参数过多的惩罚,其中lamda是控制正则化参数

吴恩达机器学习笔记_第三周

lamda过大,容易造成欠拟合underfitting,相当于所有theta都约等于0,只剩第一项。

 

正则化线性回归:正则化+梯度下降结合:

吴恩达机器学习笔记_第三周

不惩罚theta0,所以分开写

正规化方法加上正则化项后的求法:

吴恩达机器学习笔记_第三周

 

正则化逻辑回归:

吴恩达机器学习笔记_第三周

用梯度下降法的修改和线性回归形式一样,只是h函数不一样