文件名称：概率主题模型在文本分类中的应用研究
文件大小：1.08MB
文件格式：KDH
更新时间：2014-03-26 14:19:46
文本分类 类别噪声
所属领域：数据挖掘、机器学习、文本分类 数据偏斜和噪声数据是文本自动分类应用中经常遇到的问题。在数据偏斜的 情况下,样本无法准确反映整个空间的数据分布,分类器容易受到大类的影响而忽 略小类。大多数分类算法都是面向均匀分布数据提出的，对于数据偏斜的情况， 仅利用传统的分类方法并不能取得理想的效果。另一方面，分类器的质量很大程 度上取决于训练文本集的质量。一般说来，训练文本集类别越准确、内容越全面， 得到的分类器质量就越高。但是在实际应用中，这种全面准确的训练文本集是很 难得到的，尤其是在数据规模很大的情况下，更是如此。在真实的文本分类应用 中，训练数据一般都不可避免的含有噪声，这些噪声样本将对最终的分类结果产 生重要影响。我们结合LDA（Latent DirichletAllocation）概率主题模型，针对上 述两种情况，提出了基于概率主题模型的数据偏斜分类方法和噪声处理方法。利 用LDA概率主题模型潜在的全局语义信息，人工生成新的训练文本，能够取得 比传统方法更好的效果。