文件名称：论文研究-混合词汇特征和LDA的语义相关度计算方法.pdf
文件大小：761KB
文件格式：PDF
更新时间：2022-09-27 02:05:41
论文研究
文本语义相关度计算在自然语言处理、语义信息检索等方面起着重要作用，以Wikipedia为知识库，基于词汇特征的ESA（Explicit Semantic Analysis）因简单有效的特点在这些领域中受到学术界的广泛关注和应用。然而其语义相关度计算因为有大量冗余概念的参与变成了一种高维度、低效率的计算方式，同时也忽略了文本所属主题因素对语义相关度计算的作用。引入LDA（Latent Dirichlet Allocation）主题模型，对ESA返回的相关度较高的概念转换为模型的主题概率向量，从而达到降低维度和提高效率的目的；将JSD距离（Jensen-Shannon Divergence）替换余弦距离的测量方法，使得文本语义相关度计算更加合理和有效。最后对不同层次的数据集进行算法的测试评估，结果表明混合词汇特征和主题模型的语义相关度计算方法的皮尔逊相关系数比ESA和LDA分别高出3%和9%以上。