机器学习总结之逻辑回归Logistic Regression
逻辑回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下：
回归问题：预测一个连续的输出。
分类问题：离散输出，比如二分类问题输出0或1.
逻辑回归常用于垃圾邮件分类，天气预测、疾病判断和广告投放。
一、假设函数
因为是一个分类问题，所以我们希望有一个假设函数
，使得：
而sigmoid 函数可以很好的满足这个性质：
故假设函数：
其实逻辑回归为什么要用sigmoid函数而不用其他是因为逻辑回归是采用的伯努利分布，伯努利分布的概率可以表示成
其中
得到
这就解释了logistic回归时为了要用这个函数。
二、代价函数
好了，现在我们确定了假设函数，输入
，如果我们依旧用线性回归的代价函数：
其中：
这样的话代价函数
将会非常复杂，有多个局部最小值，也就是非凸的，如下所示：
然而这并不是我们想要的，我们想要代价函数是凸函数如下：这样我们就可以很容易的找出全局最优解。
我们回过头来看
：
由上式我们可得：
如果我们将
视为样本
作为正例的可能性，
则为反例的可能性，
两者的比值对数称为对数几率：
这也就是逻辑回归为什么也称作对数几率回归的原因，我们可以将
视为类后验概率：
，则由：
可得：
我们用“最大似然估计”来估计
，逻辑回归模型的似然函数如下：
对数似然函数如下：
即令每个样本属于其真实标记的概率越大越好，
是高阶连续可导的凸函数，由凸优化理论可以根据梯度下降法、牛顿法等求最优解
。
实际上，上式即为逻辑回归的代价函数：
它是由极大似然得来的。
三、逻辑回归的优点
1、它是直接对分类可能性建模，无需事先假设数据分布，这样就避免了假设分布不准确问题。
2、它不仅预测类别，而且可以得到近似概率预测，这对许多概率辅助决策的任务很有用。
3、对率函数是任意阶可导凸函数，有很好的数学性质，现有许多的数值优化算法都可以直接用于求解。
四、多分类问题
对于多分类问题常用的做法是分解为多个二分类问题，例如：
分解为下面三个二分类逻辑回归问题：
对于一个新的样本
，如果第i类使得
最大，我们认为
属于i类。