Softmax回归(Softmax Regression, K分类问题)

时间:2024-07-06 19:35:56
  1. Softmax回归K分类问题, 2分类的logistic回归的推广。其概率表示为:

    Softmax回归(Softmax Regression, K分类问题)

对于一般训练集:

    Softmax回归(Softmax Regression, K分类问题)

    Softmax回归(Softmax Regression, K分类问题)

    Softmax回归(Softmax Regression, K分类问题)

    Softmax回归(Softmax Regression, K分类问题)

系统参数为:

    Softmax回归(Softmax Regression, K分类问题)

  1. Softmax回归Logistic回归的关系

当Softmax回归用于2分类问题,那么可以得到:

    Softmax回归(Softmax Regression, K分类问题)

θ=θ0-θ1,就得到了logistic回归。所以实际上logistic回归虽然有2个参数向量,但这2个参数向量可以退化到1个参数向量。推广到K个类别,那么就需要K-1个参数向量

  1. 参数求解

类似于logistic regression,求最大似然概率,有:

    Softmax回归(Softmax Regression, K分类问题)

其中1{k=y}为真值表达式,例如如果1{1+1=2},那么值为1,如果1{1+1=0},那么值为0。对数似然函数有:

    Softmax回归(Softmax Regression, K分类问题)

上式中,仅有Softmax回归(Softmax Regression, K分类问题),所以有:

    Softmax回归(Softmax Regression, K分类问题)

对上式求导数

    Softmax回归(Softmax Regression, K分类问题)

    Softmax回归(Softmax Regression, K分类问题)