【文件属性】：
文件名称：pytorch-tta:Pytorch实施的“用于无监督学习的快速，准确的深度双向语言表示形式”
文件大小：9KB
文件格式：ZIP
更新时间：2021-04-11 20:20:15
Python
贸易协定
该存储库是论文pytorch版本。
介绍
T-TA或T基于ransformer-T EXT一个utoencoder，是监督学习任务的新深双向语言模型。 T-TA学习了直接的学习目标，即语言自动编码，该功能可以只使用上下文自动预测句子中的所有标记。 与“掩蔽语言模型”不同，T-TA具有自掩蔽机制，以避免仅将输入复制到输出。 与BERT（用于微调整个预先训练的模型）不同，T-TA特别有利于获得上下文嵌入，这些嵌入是从训练的语言模型的隐藏层生成的每个输入令牌的固定表示。
T-TA模型体系结构基于模型体系结构，而模型体系结构主要是标准的体系结构。 这段代码基于，其中包括用于构建自定义词汇表，准备Wikipedia数据集等的方法。
用法
from tta . modeling_tta import TTALMModel
from transformers import AutoToken
【文件预览】：
pytorch-tta-main
----.gitignore(4KB)
----tta()
--------__init__.py(0B)
--------modeling_tta.py(26KB)
----README.md(2KB)