逻辑回归——多类别分类

时间:2022-01-01 04:28:32

多分类问题

  • 将邮件分为不同类别/标签:工作(y=1),朋友(y=2),家庭(y=3),爱好(y=4)
  • 天气分类:晴天(y=1),多云天(y=2),下雨天(y=3),下雪天(y=4)
  • 医学图示(Medical diagrams):没生病(y=1),感冒(y=2),流感(y=3)

二分类问题的示意图如下

逻辑回归——多类别分类

多分类问题如下

逻辑回归——多类别分类

One-vs-all(one-vs-rest)

生成三个假的数据集

逻辑回归——多类别分类

定义一个函数

\[h_\theta ^{\left( {\rm{1}} \right)}\left( x \right) = P\left( {y = 1|x;\theta } \right)\]

处理过的数据集就是二分类问题,通过逻辑回归可能得到红线区分不同类别

同理

逻辑回归——多类别分类

定义函数

\[h_\theta ^{\left( {\rm{2}} \right)}\left( x \right) = P\left( {y = 2|x;\theta } \right)\]

逻辑回归——多类别分类

定义函数

\[h_\theta ^{\left( {\rm{3}} \right)}\left( x \right) = P\left( {y = 3|x;\theta } \right)\]

总结公式

\[h_\theta ^{\left( {\rm{i}} \right)}\left( x \right) = P\left( {y = i|x;\theta } \right)\]


当需要预测新的数据的类别时,使用如下公式

\[\mathop {\max }\limits_i h_\theta ^{\left( {\rm{i}} \right)}\left( x \right)\]

也就是使用不同的函数去预测输入x,分别计算不同h(x)的值,然后取其中的最大值。哪个i对应的h(x)越大,就认为属于哪个类。