逻辑斯谛回归

本文以Kaggle泰坦尼克号问题中的一个Kernel 以及李航博士的《统计学习方法》为基础来对逻辑斯谛回归进行描述

本文绝大大部分算法皆来自李航博士的《统计学习方法》第六章逻辑斯蒂回归模型与最大熵模型，只再此基础上增加了一点个人理解

Kaggle入门中一个经典的例子便是–泰坦尼克号问题，很多时候选择的第一个模型便是逻辑斯谛回归模型

二项逻辑斯谛回归模型

对于Kaggle中的泰坦尼克号问题，要预测的是乘客的生存问题，只有生存或者死亡两种结果，因此可以采用二项逻辑斯谛回归模型。

P(Y=1|x)=exp(w∗x+b)1+exp(w∗x+b) $$P(Y=1|x)={\displaystyle \frac{\exp \left(w\ast x+b\right)}{1+exp(w\ast x+b)}}$$

P(Y=0|x)=11+exp(w∗x+b) $$P(Y=0|x)={\displaystyle \frac{1}{1+exp(w\ast x+b)}}$$

对于这两个公式而言：

x∈Rn $$x\in {\mathbb{R}}^n$$

是输入，可以看一下输入的数据是什么样的

相对于输入，输出为

y∈{0,1} $$y\in \left\{0,1\right\}$$

即对于一个输入实例x可以通过二项逻辑斯谛回归模型的条件概率分布来计算x的生存或者死亡概率，取概率比较大的来作为预测值
可以观察一下二项逻辑斯谛回归模型，输入为x已知，未知量有 ω ${\displaystyle \omega }$ 以及 b ${\displaystyle b}$
为了简化起见，可以舍去未知量b，这时候 二项逻辑斯谛回归模型为

P(Y=1|x)=exp(w∗x)1+exp(w∗x) $$P(Y=1|x)={\displaystyle \frac{\exp \left(w\ast x\right)}{1+exp(w\ast x)}}$$

P(Y=0|x)=11+exp(w∗x) $$P(Y=0|x)={\displaystyle \frac{1}{1+exp(w\ast x)}}$$

这时候只有一个未知量 ω ${\displaystyle \omega }$ ，要做的事情很简单就是找到一个参数 ω ${\displaystyle \omega }$ 使得它对所有的输入x都能有一个合理的预测

实质上在整个学习过程中要做的事情很简单，就是找到一个合理的参数w使得对于给定的输入x有一个合理的预测y，判断是否合理，可以采用训练数据集里面的数据来进行判断

模型参数估计

对于给定的训练数据集

T={(x1,y1),(x2,y2)…} $$T=\left\{\left(x_1,y_1\right),\left(x_2,y2\right)\dots \right\}$$

注意

xi∈Rn $$x_i\in {\mathbb{R}}^n$$

可以应用极大似然估计法估计模型参数
设：

P(Y=1|x)=π(x) $$P(Y=1|x)=\pi (x)$$

P(Y=0|x)=1−π(x) $$P(Y=0|x)=1-\pi (x)$$

似然函数为

∏i=1N[π(xi)]yi[1−π(xi)]1−yi $$\underset{i=1}{\overset{N}{\prod }}{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}$$

对数似然函数为

L(w)=∑i=1N[yilogπ(xi)−(1−yi)log(1−π(xi))] $$L(w)=\underset{i=1}{\overset{N}{\sum }}[yilog\pi (xi)-(1-yi)log(1-\pi (xi))]$$

=∑i=1N[yilogπ(xi)1−π(xi)+log(1−π(xi))] $$=\underset{i=1}{\overset{N}{\sum }}[y_i\log {\displaystyle \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}}+log(1-\pi (xi))]$$

=∑i=1N[yi(w∗xi)−log(1+exp(w∗xi)] $$=\underset{i=1}{\overset{N}{\sum }}[yi(w\ast xi)-log(1+exp(w\ast xi)]$$

对L(w)求极大值，就可以得到w的估计值
问题就变成了以对数似然函数为目标函数的最优化问题，可以采用梯度下降法

极大似然估计

1.设总体x的概率分布为

f(x,θ1,θ2…θk) $$f\left(x,\theta 1,{\theta }_2\dots {\theta }_k\right)$$

其中

θ1,θ2,…θk $${\theta }_1,{\theta }_2,\dots {\theta }_k$$

为参数
2.设X1，X2，…Xn为一组样本，它们的联合概率密度为

L(x1,x2,…xn;θ1,θ2…θk)=∏i=1hf(xi,θ1,θ2…θk) $$L\left(x_1,x_2,\dots x_n;{\theta }_1,{\theta }_2\dots {\theta }_k\right)=\underset{i=1}{\overset{h}{\prod }}f\left(x_i,{\theta }_1,{\theta }_2\dots {\theta }_k\right)$$

3.设x1，x2，…xn是样本X1，X2，…Xn的一组观测值，使出现x1，x2，…xn最大可能的一组实数

θ∗1,θ∗2…θ∗k $${\theta }_1^{\ast },{\theta }_2^{\ast }\dots {\theta }_k^{\ast }$$

引出了参数估计的一种方法

注：

L(x1,x2,…xn;θ1,θ2…θk) $$L\left(x_1,x_2,\dots x_n;{\theta }_1,{\theta }_2\dots {\theta }_k\right)$$

实际上是概率的乘积，以二项逻辑斯谛回归模型为例
假设

w=θ1,θ2,…θk $$w={\theta }_1,{\theta }_2,\dots {\theta }_k$$

f(x)={π(x)1−π(x) $$f\left(x\right)=\{\begin{array}{l}\pi (x)\\ 1-\pi \left(x\right)\end{array}$$

P(Y=1|x)=π(x) $$P(Y=1|x)=\pi (x)$$

P(Y=0|x)=1−π(x) $$P(Y=0|x)=1-\pi (x)$$

则

L(x1,x2,…xn;θ1,θ2…θk)=∏i=1hf(xi,θ1,θ2…θk) $$L\left(x_1,x_2,\dots x_n;{\theta }_1,{\theta }_2\dots {\theta }_k\right)=\underset{i=1}{\overset{h}{\prod }}f\left(x_i,{\theta }_1,{\theta }_2\dots {\theta }_k\right)$$

就可以转换为

∏i=1N[π(xi)]yi[1−π(xi)]1−yi $$\underset{i=1}{\overset{N}{\prod }}{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}$$

可以观察到此式实质上为概率的乘积
可以取两个值带入，假设yi为0
则

[π(xi)]yi=1 $$[\pi (xi){]}^{y_i}=1$$

假设yi为1
则

[1−π(xi)]1−yi=1 $$[1-\pi (x_i){]}^{1-y_i}=1$$

进一步转换为

∑i=1N[yi(w∗xi)−log(1+exp(w∗xi)] $$\underset{i=1}{\overset{N}{\sum }}[yi(w\ast xi)-log(1+exp(w\ast xi)]$$

即要求出一个

w=θ∗1,θ∗2…θ∗k $$w={\theta }_1^{\ast },{\theta }_2^{\ast }\dots {\theta }_k^{\ast }$$

使得

∏i=1N[π(xi)]yi[1−π(xi)]1−yi $$\underset{i=1}{\overset{N}{\prod }}{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}$$

最大，即对于所有的x对应的概率乘积最大，类似于通解的一种情况

梯度下降算法

假设f(x)是 Rn ${\displaystyle R^n}$上具有一阶连续偏导数的函数，要求解的无约束最优化问题是

minx∈Rnf(x) $$\underset{x\in R^n}{min}f\left(x\right)$$

x∗ ${\displaystyle x^{\ast }}$ 表示目标函数f(x)的极小点
对于极大似然函数，要求的是极大值，可以增加一个负号，这样就等价于求极小值

minx∈Rn−L(ω) $$\underset{x\in R^n}{min}-L\left(\omega \right)$$

梯度下降法是一种迭代算法，取适当的初值 x(0) ${\displaystyle x^{\left(0\right)}}$ ，不断迭代，更新 x ${\displaystyle x}$ 的值，进行目标函数的极小化，直至收敛

梯度下降法

输入：目标函数 f(x) ${\displaystyle f(x)}$ ，梯度函数 g(x)=∇f(x) ${\displaystyle g(x)=\mathrm{\nabla }f\left(x\right)}$，计算精度 ε ${\displaystyle \epsilon }$
输出： f(x) ${\displaystyle f(x)}$的极小点 x∗ ${\displaystyle x^{\ast }}$
1.取初始值 x(0)∈Rn ${\displaystyle x^{\left(0\right)}\in R^n}$，置 k=0 ${\displaystyle k=0}$
2.计算 f(x(k)) ${\displaystyle f\left(x^{\left(k\right)}\right)}$
3.计算梯度 gk=g(x(k)) ${\displaystyle g_k=g\left(x^{\left(k\right)}\right)}$，当 ∥gk∥<ε ${\displaystyle \Vert g_k\Vert <\epsilon }$时，停止迭代，令 X∗=X(k) ${\displaystyle X^{\ast }=X^{\left(k\right)}}$；否则，令 pk=−g(x(k)) ${\displaystyle p_k=-g\left(x^{\left(k\right)}\right)}$，求 λk ${\displaystyle {\lambda }_k}$，使

f(x(k)+λkpk)=minλ≥0f(x(k)+λpk) $$f\left(x^{\left(k\right)}+{\lambda }_k{p}_k\right)=\underset{\lambda \ge 0}{min}f\left(x^{\left(k\right)}+\lambda p_k\right)$$

4.置 x(k+1)=x(k)+λkpk ${\displaystyle x^{\left(k+1\right)=}{x}^{\left(k\right)}+{\lambda }_k{p}_k}$ ，计算 f(x(k+1)) ${\displaystyle f\left(x^{\left(k+1\right)}\right)}$
当 ∥∥f(x(k+1))−f(x(k))∥∥<ε ${\displaystyle \Vert f\left(x^{\left(k+1\right)}\right)-f\left(x^{\left(k\right)}\right)\Vert <\epsilon }$ 或 ∥∥x(k+1)−x(k)∥∥<ε ${\displaystyle \Vert x^{\left(k+1\right)}-x^{\left(k\right)}\Vert <\epsilon }$ 时，停止迭代，令 x∗=x(k+1) ${\displaystyle x^{\ast }=x^{\left(k+1\right)}}$
5.否则，置 k=k+1 ${\displaystyle k=k+1}$ 转3

这样，经过梯度下降法就可以求得 wˆ ${\displaystyle \hat{w}}$，那么学习到的逻辑斯谛回归模型为

P(Y=1|x)=exp(wˆx)1+exp(wˆx) $$P(Y=1|x)={\displaystyle \frac{\exp \left(\hat{w}x\right)}{1+\exp \left(\hat{w}x\right)}}$$

P(Y=1|x)=11+exp(wˆx) $$P(Y=1|x)={\displaystyle \frac{1}{1+\exp \left(\hat{w}x\right)}}$$

这样对于测试的实例x就可以求得其生存或者死亡概率

参考资料

[1] 李航. 逻辑斯谛回归与最大熵模型. 统计学习方法. 2012
[2] Kaggle Kernels
[3] 概率论与数理统计（第四版）