令一个停用词为f(i),
nj(f(i)) 表示停用词i在时间窗口j内所有文本中出现的次数。 时间窗口典型的选择1天。时间窗口出现的文本,为这个时间产生的网页文章。例如在今天“沙达姆”出现在1000个文档中的20篇,则nj(f(i))=20。
另Pj [nj(f(i))=K] 表示停用词i在时间窗口j内所有文本中出现的次数为K的概率。K符合超几何分布。(不妨回忆一下超几何分布,在一个已知正品概率的总体空间中,任取n个零件,则其中正品的数量,这一随机变量就是超几何分布。),超几何分布在总体足够大的时候接近与二项分布,由于二项分布的计算比较简单,所以采用二项分布近似。
Pj [nj(f(i))=K] = C(K,N)* pi^k*(1-pi)^N-k
N为在时间窗口j中的总文档数,K为包含停用词f(i)的文档数,pi,为停用词f(i)的一般出现文档频率。pi可以理解成一系列时间窗口的出现频率的均值。
在一个时间窗口中的二项分布一般是不对称的除非pi=0.5,我们正是利用这个不对称,来判别停用词。
来看这个
X轴表示时间窗口中的文档数,N为最大值。Y轴表示出现x个文档包含特征f(i)的概率,对于停用词来说,N个文档
中出现N个文档包含特征f(i)的概率都相当大,所以可以判定该词为停用词。