关于TF-IDF的解释

时间:2024-06-03 18:37:02

TF:term frequency ,词频 。指的是 term 出现的评率。词频和 2 个因数有关,在一个文档中出现这个词条次数越多,词频越高,文档总词条总数越多这个值被稀释。

所以  一般 TF = 词条在文档出现的次数 / 文档总词数。

IDF:倒排索引的频率。 log (   docment 数量/ (出现这个词条的 文档数 +1) ), IDF 描述的是 某个词在 倒排索引中的频率,说白了就是描述这词条在 倒排 所占的权重(相对所有词的权重)。这个权重乘 TF 就是这个 docment 的评分。

我们可以想想, 词条在倒排索引里面的频率,只和2 个因数有关。如果 出现这个词条的 文档越多,频率越高,如果文档数量越多,这个会被稀释。至于为什么要 用  log (   docment 数量/ (出现这个词条的 文档数 +1) ) ,而不是  使用  出现 出现这个词条的 文档数 /docment 数量 。我就不清楚了。

备注:term,在 而是 里面你是一个  不分词的 最小词条。