逻辑回归名字比较古怪,看上去是回归,却是一个简单的二分类模型。
逻辑回归的模型是如下形式:
其中x是features,θ是feature的权重,σ是sigmoid函数。将θ0视为θ0*x0(x0取值为常量1),那么
这里我们取阈值为0.5,那么二分类的判别公式为:
下面说一下参数θ的求解:
为啥子这样去损失函数呢?
当y=1的时候,显然hθ(x)越接近1我们的预测越靠谱;y=0时同理。所以应该在y=1时,使损失韩式-log(hθ(x))越小越好,y=0时,同样使损失函数-log(1-hθ(x))越小越好,即得上式