语言模型与数据集.md

【文件属性】：

文件名称：语言模型与数据集.md

文件大小：5KB

文件格式：MD

更新时间：2023-03-09 03:13:45

pytorch  python

语言模型 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率： P(w1,w2,…,wT). 本节我们介绍基于统计的语言模型，主要是 n 元语法（ n -gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。