在分类及预测任务中对高维类别（category）变量的预处理方法

*先采用诸如层次聚类的聚类算法，有效地将N个原始数据聚类成K个簇
*再将K个簇二值化
然后论文就说了下这些通用方法的缺点啊，不足啊，又吹捧了下自己提出的方法。
##使用目标统计方法来对类别属性进行编码
终于来到正文了，首先说下，接下来提到的方法，就如我们章节标题所写，是个典型的统计学方法，而且历史悠久，应用领域颇多，但是，在类似这些分类预测任务中作为预处理方法的应用，其他文献没有提到过，所以文章还是有一定创新性的。
这一章节将按照目标变量的类型分成三个小节：二值型变量、连续型变量、多类别变量
###二值型变量
当目标属性$Y$是二值的， Y ∈ { 0 ， 1 } Y\in\{0，1\} Y∈{0，1}，将高维类别属性$X$的一个值$X_i$映射成一个标量$S_i$，其中$S_i$就代表给定$X=X_i$的条件下$Y=1$的概率估计：
$$X_i\to S_i\cong P(Y|X=X_i)\text{\hspace{1em}(1)}$$
有了这个映射关系，接下来就需要来算出这个“概率估计”了。这里我们假设训练集有$n_{TR}$个样本，测试集有$n_{TS}$个样本。既然概率估计是在训练模型过程中的一部分（即概率估计是发生在模型训练的过程中，而不是测试模型时），那么概率估计只与训练数据的$n_{TR}$个样本有关。
假如训练样本足够大，那么概率估计直接可以用下面的公式计算：
$$S_i=\frac{n_{iY}}{n_i}\text{\hspace{1em}(2)}$$
其中$n_i$是$X_i$的数量，$n_{iY}$是$Y=1$的数量。
但是在实际场景中，$n_i$的数量很小，因此公式（2）来计算后验概率并不是很可信。为了削弱某些样本个数较小带来的影响，文章提出了一种计算混合概率的方法：将公式（2）的后验概率与Y的先验概率同时利用起来。方法如下：
$$S_i=\lambda (n_i)\frac{n_{iY}}{n_i}+(1-\lambda (n_i))\frac{n_Y}{n_{TR}}\text{\hspace{1em}(3)}$$
其中$n_Y$是$Y=1$的训练样本数，权重因子$\lambda (n_i)$是边界为0，1的单调递增函数。
当$n_i$的数量很大的时候，$\lambda \cong 1$，我们给后验概率分配更多的权重，此时等价于公式（2）；但是如果$n_i$的数量很小，$\lambda \cong 0$，我们直接采用先验概率。
其中可以给权重因子指定一个函数，例如：
$$\lambda (n)=\frac{1}{1+e^{-\frac{n-k}{f}}}\text{\hspace{1em}(4)}$$
很显然，该函数是个sigmoid函数变种。当n=k时，函数大小为0.5，此处为S型曲线的拐点。参数$f$控制该函数在拐点处的斜率。
公式（3）在统计与精算学中有着很长的一段历史。事实上公式（3）是贝叶斯概率的分支之一被称作经验贝叶斯（Empirical Bayesian）。
公式如下：$$P_i=B_i{y}_i+(1-B_i)\bar{y}\text{\hspace{1em}(5)}$$
其中$\bar{y}$指先验概率，$y_i$指后验概率。$B_i$称作shrinkage因子（$0<B<1$）。假设数据及后验估计的概率分布均满足高斯分布，那么$B_i$采用如下形式：
$$B_i=\frac{n_i{\tau }^2}{{\sigma }^2+n_i{\tau }^2}\text{\hspace{1em}(6)}$$
其中${\sigma }^2$为$X=X_i$数据集方差，${\tau }^2$是整个样本的方差。$n_i$是$X=X_i$数据集的大小。很显然$B_i$是$\lambda (n)$的一种特殊形式，$B_i$不仅考虑了样本大小，还考虑了数据集的方差。