逻辑斯谛(logistic regression)回归

时间:2021-01-20 23:51:46

模型:

P(Y=1|x)=exp(wx)1+exp(wx)
P(Y=0|x)=11+exp(wx)

这里权值向量和输入向量都为扩充后的表示 .

参数估计:

用极大似然估计法估计模型参数
设: P(Y=1|x)=π(x),P(Y=0|x)=1π(x)
似然函数为

i=1N[π(xi)]yi[1π(xi)]1yi

对数似然函数为
L(w)=i=1N[yilogπ(xi)+(1yi)log(1π(xi))]=i=1N[yilogπ(xi)1π(xi)+log(1π(xi))]=i=1N[yi(wxi)log(1+exp(wxi))]

L(w) 求极大值,得到 w 的估计值,通常采用的方法是梯度下降法及拟牛顿法 .