文本查重 文本复制检测技术

【文件属性】：
文件名称：文本查重 文本复制检测技术
文件大小：38KB
文件格式：DOC
更新时间：2013-12-26 13:14:32
文本查重 在研究目前文档复制检测技术的基础上，对比基于字符串比较和基于词频统计的两类方法，确定基本的检测方案：进而设计合适的文档存储和对比策略，实现在较大规模的文档库中快速查找相似度达到一定阈值的文档。 （1）基于字符串比较方法的研究：以Sif工具的方法为基础，实现基于字符串比较的相似文本检测； （2）基于词频统计的方法的研究：以SCAM方法为基础，实现基于词频统计的文本查重检测，并与方法（1）进行对比，分析两者的优缺点，选择其中一种作为后续研究的基本查重方法 （3）研究大规模文档的存储策略和相似文本查找策略，实现一个有一定实用价值的文本复制检测系统。