齐普夫定律-自然语言处理概论

【文件属性】：

文件名称：齐普夫定律-自然语言处理概论

文件大小：1.58MB

文件格式：PPT

更新时间：2024-05-14 08:01:03

自然语言 概论

齐普夫定律 • 讲者和听者试图使用最小的力气 – 讲者希望：使用最少的词汇，没有标点空格 – 听者希望：使用较多的词汇，丰富的标记 • 什么是齐普夫定律？ – 在一个大的语料库中统计词频，然后将词按照词频从高到低的顺序排列成一张表 – 一个词的词频 f 和它在表中的序号 r 之间存在如下关系： f ∝ 1/r or f⋅r=k, k是一个常数