【文件属性】：
文件名称：tta:文章“用于无监督学习的快速，准确的深度双向语言表示形式”的资料库
文件大小：141KB
文件格式：ZIP
更新时间：2021-04-23 03:56:07
unsupervised-learning language-model natural-language-understanding bidirectional-lm text-autoencoder
贸易协定
该存储库用于，其中详细描述了我们的方法。
介绍
T-TA或T基于ransformer-T EXT一个utoencoder，是监督学习任务的新深双向语言模型。 T-TA学习了直接的学习目标，即语言自动编码，该功能可以只使用上下文自动预测句子中的所有标记。 与“掩蔽语言模型”不同，T-TA具有自掩蔽机制，以避免仅将输入复制到输出。 与BERT（用于微调整个预先训练的模型）不同，T-TA特别有利于获得上下文嵌入，这些嵌入是从训练的语言模型的隐藏层生成的每个输入令牌的固定表示。
T-TA模型体系结构基于模型体系结构，而模型体系结构主要是标准的体系结构。 我们的代码基于 ，其中包括用于构建自定义词汇表，准备Wikipedia数据集等的方法。
此代码在以下条件下进行了测试：
Ubuntu 16.04 LTS
Python 3.6.10
TensorFlow 1.12.0
T-TA的用法
【文件预览】：
tta-master
----.gitignore(55B)
----tfrecords()
--------tta-librispeech-lower-sub-32k(93B)
----tokenization.py(12KB)
----data()
--------corpus-eval.librispeech-lower.sub-32k.txt(98B)
--------stsbenchmark(86B)
--------corpus-train.librispeech-lower.sub-32k.txt(99B)
----run_unsupervisedstsb.py(9KB)
----__init__.py(616B)
----run_training.py(16KB)
----models()
--------tta-layer-3-enwiki-lower-sub-32k(125B)
----LICENSE(11KB)
----optimization.py(6KB)
----modeling.py(37KB)
----README.md(5KB)
----configs()
--------config.layer-3.vocab-lower.sub-32k.json(330B)
--------vocab-lower.sub-32k.txt(215KB)
----create_tfrecords.py(9KB)