分类——逻辑回归模型

线性回归并不适用于定性预测值的预测
即使在二元分类中利用哑变量对类别编码，其预测的值也会不落在[0,1]，这样就很难利用概率的方式来解释

逻辑回归对目标值属于某个类别建模

P (Y = C | X 1, X 2 . . . X n)

如何对

p(X)=Pr(Y=c|X) 建模？
在线性回归的基础上引入逻辑函数，将预测值限制在（0,1）之间

p (X) = e β 0 + β 1 X 1 + e β 0 + β 1 X

利用 最大似然方法拟合该模型
odds：

p(x)1−p(x)=eβ0+β1X
log-odds：

l o g (p ( x ) 1 - p ( x )) = β 0 + β 1 X

经过简单的数学变化，可以获得odds和log-odds，odd反应了属于c类的可能性，log-odds反应了逻辑回归模型和线性回归模型的关系，虽然log-odds和X不是线性增长的关系，但X增加和log-odds也呈现了正相关。

同线性回归模型一样，逻辑回归模型中 β0 和 β1 并不可知，需要通过训练集来模拟，在线性回归中采用了最小二乘法来拟合数据，但逻辑回归通常采用最大似然估计

l o g (p ( x ) 1 - p ( x )) = β 0 + β 1 X 1 + . . . + β n X p

注意分析特征之间的相关性

逻辑回归方法是线性回归模型的拓展，参数式的学习方法更容易理解和解释，逻辑回归适用于二类分类，容易实现和解释。

秒客网