逻辑斯谛回归(Logistic Regression, LR)是一种经典的分类算法，一定要注意，虽然名为回归，但其实是分类算法。具体表示为两个条件概率分布
可以看到，当
趋向于正无穷时，P(Y=1|X)趋向于1，P(Y=0|X)趋向于0，当趋向于负无穷是情况则相反，因此我们通过比较P(Y=1|X)和P(Y=0|X)的大小来判断X的类别正负。具体图像如下(摘自百度百科)
极大似然估计
我们通过极大似然估计来估计参数w和b。假设
，则似然函数为
对其取对数得到对数似然函数
对w和b分别求导得到
然后就可以通过梯度下降法或拟牛顿法不断迭代w和b来极大化似然函数。
对数线性模型
逻辑斯谛回归与后面将要讲到的最大熵模型都属于对数线性模型，那么为什么会这么说呢？即使我们对
取对数得到的也不是线性模型呀？其实这里并不是对取对数，而是对x的几率取对数。
“一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是
。” ---- 统计学习方法
因此对于逻辑斯谛回归来说，其几率的对数，又称为对数几率( log odds )为
因此才被称为对数线性模型。
参考资料
统计学习方法，李航 著