Sigmoid函数推导(逻辑回归激活函数来历)

时间:2022-01-19 17:01:48

转载请注明出处:https://blog.csdn.net/weixin_38275649/article/details/80340538

    逻辑回归实际上是使用回归进行二分类的方法。
    线性回归返回的范围为\((-\infty,+\infty)\),而分类预测结果需要得到取值范围为\([0,1]\)的概率值,这样就需要一个由\((-\infty,+\infty)\)映射到\([0,1]\)的关系函数,这个函数关系,我们就可以使用\(Sigmoid(x)={1\over{1+e^{-x}}}\)函数。

    那为什么要用这个函数呢?请看下面(不严谨之处请见谅):

    设线性回归的得到的值为\(a\),映射产生的概率值为\(p\).
    我们先看看\(p\over{1-p}\)的取值范围\([0,+\infty)\).见图:
Sigmoid函数推导(逻辑回归激活函数来历)
    \(p\over{1-p}\)在统计学上叫做比值比(odds),又名机会比、优势比、交叉乘积比、相对比值、两个比值的比、赔率等. 这个比值比的含义比概率要直观的多,例如,我们考察一场足球比赛中A队的胜率,假设A队获胜的概率为0.99,这个概率的比值比为99/1,后者很明显表达了100场比赛99场获胜的可能性.
  
    接下来,我们再给比值比加一个自然对数看看\(ln({p\over{1-p}})\),图像如下:
Sigmoid函数推导(逻辑回归激活函数来历)
    这个函数的图形我们就感觉很熟悉了,这个函数\(y=ln({p\over{1-p}})\)把p映射到了y,我们把这个函数的p解出来就能得到y到p的映射了:
$$p(y)=Sigmoid(y)={1\over{1+e^{-y}}}$$
    图像如下:

Sigmoid函数推导(逻辑回归激活函数来历)

    \(Sigmiod\)函数\(S(x)\)的一个性质:\(S'(x)=S(x)(1-S(x))\).