看完统计学习方法对逻辑斯谛的讲解之后,产生了一点疑问,为什么输出结果的概率分布可以用逻辑斯谛分布来表示?给定x的条件下,y的分布一定服从逻辑斯谛分布吗?
首先,纠正自己理解上的错误,服从逻辑斯谛分布并不是x和y之间的关系P(Y|X),从书上对逻辑斯谛分布的定义来看,真正符合逻辑斯谛分布形式的是wx和y的关系P(Y|wX),这也是为什么书上称wx为分类函数,我对此的理解是,逻辑斯谛回归是基于线性回归的,它在线性回归的结果wx上加入sigmoid函数转换成 “回归结果从属于正类的概率“ ,这才将一个线性回归问题转换成二分类问题 ,因此服从逻辑斯谛分布的是运用了sigmoid函数的wx和y。
其次,再来解释为什么可以用逻辑斯谛分布去表示Y的条件概率分布,看到了网上的解释是:因为逻辑斯谛分布本来就是Y的后验概率分布。”本来就是“的意思是,书上最开始对于逻辑斯谛回归的定义公式P(Y=1|X)并不是一种模型假设,而是基于理论推导,推导过程:https://www.zhihu.com/question/41647192/answer/91803886 里面图片评论的推导过程。这个答案最后用α来表示一个x的对数函数,进一步说明了P(Y|X)只是可以表示为逻辑斯谛分布的形式。
所以我觉得讲解逻辑斯谛回归模型的思路应该是,先按找上面图片评论推导Y属于正类的后验概率分布P(Y=1|X),从推导结果分析,α是x通过回归模型的结果,1/1+exp(-α)是将回归结果转换成从属于正类的概率的函数。