Logistic Regression逻辑回归（分类）：
0:Negative Class
1:Positive Class
二元分类问题讲起，虽然有回归二字，其实为分类算法，处理离散y值。
输出以以条件概率表示，若P(y=1|x;theta)= 0.7，表示有70%的概率y=1.那么有30%的概率y=0
决策边界(DecisionBoundary)：当z=0，即thetaT*X的值等于零时，此时假设函数为0.5。
下面是另一个边界的例子：
只要得到theta值，就能得到决策边界
逻辑回归的代价函数很可能是一个非凸函数(non-convex)，有很多局部最优点，所以如果用梯度下降法，不能保证会收敛到全局最小值。
单次的代价函数如下：
最终多样本的代价函数以及我们要做的工作：
根据前面的方法，同时地进行梯度下降法求出theta向量。
优化方法：共轭梯度、BFGS等等，无需选学习率，自动的，比梯度下降快，但是复杂。建议直接调用库。
多元分类：
1对多方法
h函数其实就对应着条件概率，所以就是训练三个分类器，选条件概率最高的。
过拟合问题overfitting——正则化Regulation
对训练数据效果很好，但无法对新数据进行很好的预测，泛化能力弱，就是一般性不好
参数过多，高阶项多等。
解决方法：
1、减少特征数量（找主要的，或者用算法找）
2、正则化（保留所有参数，但较少维度或数量级）
正则化项：加入参数过多的惩罚，其中lamda是控制正则化参数
lamda过大，容易造成欠拟合underfitting，相当于所有theta都约等于0，只剩第一项。
正则化线性回归：正则化+梯度下降结合：
不惩罚theta0，所以分开写
正规化方法加上正则化项后的求法：
正则化逻辑回归：
用梯度下降法的修改和线性回归形式一样，只是h函数不一样