逻辑斯谛(logistic regression)回归

模型：

P(Y=1|x)=exp(w⋅x)1+exp(w⋅x)

P(Y=0|x)=11+exp(w⋅x)

这里权值向量和输入向量都为扩充后的表示 .

参数估计：

用极大似然估计法估计模型参数
设： P(Y=1|x)=π(x),P(Y=0|x)=1−π(x)
似然函数为

∏i=1N[π(xi)]yi[1−π(xi)]1−yi

对数似然函数为

L(w)=∑i=1N[yilogπ(xi)+(1−yi)log(1−π(xi))]=∑i=1N[yilogπ(xi)1−π(xi)+log(1−π(xi))]=∑i=1N[yi(w⋅xi)−log(1+exp(w⋅xi))]

对 L(w) 求极大值，得到 w 的估计值，通常采用的方法是梯度下降法及拟牛顿法 .