TF-IDF是一种统计方法,这个算法在我们项目提取关键词的模块需要被用到,TF-IDF算法是用来估计
一个词汇对于一个文件集中一份文件的重要程度。从算法的定义中就可以看到,这个算法的有效实现是依靠
一定数据量的文件集作为基础的。字词的重要性随着他在文件中出现的次数呈正比例的关系增加,这一点很
符合常识,就是这个词出现的次数越多,那个这个词越重要,词的出现频度和他的重要程度之间呈现正关系。
为了抑制冠词等经常出现的无用词汇的重要程度,这个词汇的重要程度会在他在语料库中出现的频率成反比
下降,也就是说,如果在文件集中他出现的频率越高,那么说明这个词在文件集中越常见,那么他的重要程
度越低。
所以TF-IDF算法的重要文件基础就是需要一个语料库,这个语料库越大,囊括的词汇越多,参与统计的
文件集数量越大,那么它对于词汇在普遍文件中出现频率的范颖效果就越好,那么它对于词汇在文档中重要
程度的修正效果就越准确,在我们的项目中,我们找到了网络上一些语言类高校公布出来的语料库,语聊库
文件通过excel文件编辑,在表格中记录了收纳进语料库的词汇,单个词汇的出现频度百分比,以及这个词汇
在语料库中出现频率的累计百分比。这使得我们可以方便的获取到各个词汇在文件集中出现的频率。
在读取excel文件上,我们使用的OleDbDataAdapter完成对excel文件的读取,这里的操作和用sql命令
操作数据库的类似,读取指定数据库中指定表中的信息,每个表中单个元组内的信息可以通过select语句获取
到,更具获取到的每个词汇单独的出现频率就可以正常的使用TD-IDF算法。