【文件属性】：
文件名称：pretraining-for-language-understanding:训练语言模型以进行语言理解
文件大小：418KB
文件格式：ZIP
更新时间：2021-03-14 23:51:39
nlp language-modeling pytorch language-model pytorch-tutorial
语言理解预训练
现在，针对语言理解的语言模型预训练是NLP上下文中的重要一步。
语言模型将在庞大的语料库上进行训练，然后我们可以将其用作需要处理语言的其他模型的组成部分（例如，将其用于下游任务）。
概述
语言模型
语言模型（LM）捕获所有可能句子的分布。
输入：一个句子
输出：输入句子的概率
虽然语言建模是大规模语料库上的典型无监督学习，但我们在此回购中将其转变为一系列有监督的学习。
自回归语言模型
自回归语言模型基于所有先前的标记来捕获下一个标记的分布。 换句话说，它查看上一个标记，并预测下一个标记。
自回归语言模型的目标用以下公式表示：
因为自回归语言模型应该是向前或向后的，所以只能使用单向单向上下文信息。 因此，很难同时理解两个方向的上下文。
RNNLM，ELMo是自回归语言模型的典型示例，此存储库涵盖了单向/双向LSTM语言模型。
cf. 双向LSTM LM，ELM
【文件预览】：
pretraining-for-language-understanding-master
----inference.py(5KB)
----lm_trainer.py(7KB)
----.gitattributes(42B)
----dataset_utils.py(1KB)
----tokenization.py(3KB)
----models()
--------logs()
--------bilstm_lm10.pth(134B)
--------bilstm_lm_large10.pth(134B)
--------lstm_lm10.pth(134B)
----parallel.py(7KB)
----images()
--------multi_gpu_training.png(133KB)
----build_corpus()
--------wikipedia_en.sh(155B)
--------wikipedia_ko.sh(130B)
--------build_corpus.py(990B)
----models.py(4KB)
----LICENSE(11KB)
----README.md(14KB)
----build_vocab.py(3KB)