逻辑回归模型(logistic regression)

时间:2021-01-20 23:51:52

逻辑回归模型意义

逻辑回归是机器学习中做分类任务常用的方法,属于“广义的线性模型”,即:

逻辑回归模型(logistic regression)

考虑二分类任务,其输出标记y∈{0,1},而线性回归模型产生的预测值 z = wx+b是实值,于是,需要将实值z转换为0/1值。最理想的是“单位阶跃函数”:

逻辑回归模型(logistic regression)

即若预测值z大于0就判断为正例,小于零则判断为反例,预测值为临界值零则可任意判断。但是阶跃函数不是连续的,不能直接作用于g-(),因此考虑用另一函数代替阶跃函数,即sigmoid函数:

逻辑回归模型(logistic regression)

对应的图像:

逻辑回归模型(logistic regression)

可以看到sigmoid有如下特性(y = g(z),z=wx + b),当z>>0时,y->1,当z<<0时,y->0。这其实有着很强的实际意义(y就代表了该样本属于正例的概率),通过下张图更好理解:

逻辑回归模型(logistic regression)

这是一个有着二维属性的样本分类任务(图中h即上文y,w对应θ1、θ2,b用θ0替代),通过训练样本模型找到最好的[θ0,θ1,θ2](对应代价函数的极值点),而(θ0+θ1x1+θx2 =0)就对应着图中的决策决策边界(decision boundry)

对于测试样本(x1,x2)来说,如果:

θ0+θ1x1+θ2x2(即z)>>0,说明其处于边界线上方,距离边界很远,是一个正例概率很大,因此y = sigmoid(z)->1

θ0+θ1x1+θ2x2(即z)<<0,说明其处于边界线下方,距离边界很远,它基本不可能是正例子,因此y = sigmoid(z)->0

θ0+θ1x1+θ2x2(即z)->0,说明其处于边界线附近,是不是正例模棱两可,因此y = sigmoid(z)->0.5(概率0.5)


逻辑回归模型求解参数(寻找θ)

逻辑回归的求解参数方式和一般优化问题没有什么不同,最基本的方式就是梯度下降法,只要写出其代价函数以及参数θ的梯度公式即可(推导过程可参见其它教材):

逻辑回归模型(logistic regression)

值得注意的是逻辑回归的梯度更新公式与线性回归很像,但其实是有差别的,即hθ(x)的形式不同(逻辑回归为sigmoid函数):

逻辑回归模型(logistic regression)