一点最大后验估计的理解，不知道该写哪，就放这里了
最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。
MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。
举例来说：
假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是
樱桃 100%
樱桃 75% + 柠檬 25%
樱桃 50% + 柠檬 50%
樱桃 25% + 柠檬 75%
柠檬 100%
如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？
我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为p(我们通过这个概率p来确定是从哪个袋子中拿出来的)，则似然函数可以写作
$$p(两个柠檬饼干|袋子)=p^{2}$$
由于p的取值是一个离散值，即上面描述中的0,25%，50%，75%，1。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子5。这里便是最大似然估计的结果。
上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。
假设拿到袋子1或5的机率都是0.1，拿到2或4的机率都是0.2，拿到3的机率是0.4，那同样上述问题的答案呢？这个时候就变MAP了。我们根据公式
$$\hat{\theta}\text{MAP}=\mathop{argmax\space}\limits{\theta}\frac{(x|\theta)g(\theta)}{\int_{\theta \in \Theta}^{}f(x|\theta')g(\theta')d \theta'}=\mathop{argmax\space}\limits_{\theta}f(x|\theta)g(\theta)$$
写出我们的MAP函数。
$$\text{MAP}=p^{2}\cdot g$$
根据题意的描述可知，p的取值分别为0,25%、50%、75%、1；g的取值分别为0.1、0.2、0.4、0.2、0.1。分别计算出MAP函数的结果为：0、0.0125、0.125、0.28125、0.1。由上可知，通过MAP估计可得结果是从第四个袋子中取得的最高。
作者：可乐LL
$$
\begin{gathered}
\left{(x_{i},y_{i})\right}{i=1}^{N},x{i}\in \mathbb{R}^{p},y_{i}\in \left{0,1\right}
\end{gathered}
$$
逻辑回归作为线性分类中的软输出，相对于硬输出，输出结果为$y$为各值的概率，总体思路与硬输出是相同的，即
$$
\begin{aligned}
线性回归 &\rightarrow 线性分类\
\omega^{T}x&\overset{激活函数}{\rightarrow }\left{\begin{aligned}&y_{i}=\left{0,1\right}&硬分类\&p(y_{i})=p \in (0,1)&软分类\end{aligned}\right.
\end{aligned}
$$
相对于概率生成模型，逻辑回归的概率判别模型是对$p(y|x)$直接建模
逻辑回归的激活函数为Sigmoid Function
$$
\sigma(z)=\frac{1}{1+e^{-z}}\quad \left{\begin{aligned}&z \to +\infty&\lim\limits_{}\sigma(z)=1\&z \to 0& \sigma(z)=\frac{1}{2}\&z \to -\infty& \lim\limits_{}\sigma(z)=0\end{aligned}\right.
$$
显然通过$\sigma(z)$，将$\mathbb{R} \rightarrow (0,1),\omega^{T}x \rightarrow P$
二项逻辑回归模型时如下的条件概率分布
$$
\begin{aligned}
p_{1}&=p(y=1|x)=\sigma(\omega^{T}x)=\frac{1}{1+e^{-\omega^{T}x}}\
p_{0}&=p(y=0|x)=1-p(y=1|x)=\frac{e^{-\omega^{T}x}}{1+e^{-\omega^{T}x}}\
p(y|x)&=p_{1}^{y}p_{0}^{1-y}
\end{aligned}
$$
对其中的$\omega$进行最大似然估计
$$
\begin{aligned}
\hat{\omega}&=\mathop{argmax\space}\limits_{\omega}\log p(Y|X)\
&=\mathop{argmax\space}\limits_{\omega}\log \prod\limits_{i=1}^{N}p(y_{i}|x_{i})\
&=\mathop{argmax\space}\limits_{\omega}\sum\limits_{i=1}^{N}\log p(y_{i}|x_{i})\
&=\mathop{argmax\space}\limits_{\omega}\sum\limits_{i=1}^{N}(y_{i}\log p_{1}+(1-y_{i})\log p_{0})\
&记p_{1}=\psi(x,\omega)\
&=\mathop{argmax\space}\limits_{\omega}\sum\limits_{i=1}^{N}[y_{i}\log \psi(x_{i},\omega)+(1-y_{i})\log(1-\psi(x_{i},\omega))]
\end{aligned}
$$
个人理解，先用已知数据估计出$\hat{\omega}$，然后带回$p(y=1|x),p(y=0|x)$，然后对于新的$x$，代入$p(y=1|x),p(y=0|x)$，比较大小，哪个大，就认为$y$的值为哪个