文件名称：Funnel-Transformer
文件大小：328KB
文件格式：ZIP
更新时间：2024-04-09 22:15:22
Python
介绍 Funnel-Transformer是一种新的自我注意模型，可以将隐藏状态的序列逐渐压缩为较短的状态，从而降低了计算成本。更重要的是，通过将长度减少所节省的FLOP重新投入到构建更深或更宽的模型中，对于相同的FLOP，Funnel-Transformer通常具有更高的容量。此外，借助解码器，Funnel-Transformer能够从减少的隐藏序列中恢复每个令牌的令牌级深度表示，从而可以进行标准的预训练。 有关技术细节和实验结果的详细说明，请参阅我们的论文： 戴子行*，赖国坤*，杨一鸣，Quoc V. Le （*：均等） 预印本2020 源代码 资料下载 相应的源代码和说明位于data-scrips文件夹中，该文件夹指定如何访问我们在本工作中使用的原始数据。 TensorFlow 相应的源代码位于tensorflow文件夹中，该文件夹已开发并完全如本文所述用于TPU预训练和微调。
【文件预览】：
Funnel-Transformer-master
----figures()
--------glue-dev.png(126KB)
--------qa.png(116KB)
----tensorflow()
--------model_utils.py(6KB)
--------data_utils.py(4KB)
--------squad_utils_v2.py(12KB)
--------create_pretrain_data.py(11KB)
--------tokenization.py(14KB)
--------modify_ckpt.py(3KB)
--------race.py(23KB)
--------metric_ops.py(12KB)
--------ops.py(19KB)
--------scripts()
--------squad_utils_v1.py(3KB)
--------modeling.py(45KB)
--------pretrain.py(17KB)
--------classifier.py(44KB)
--------optimization.py(10KB)
--------classifier_utils.py(5KB)
--------squad.py(57KB)
--------README.md(17KB)
--------input_func_builder.py(19KB)
--------tpu_optimizer.py(9KB)
----LICENSE(1KB)
----README.md(4KB)
----pytorch()
--------data_processor.py(13KB)
--------options.py(8KB)
--------tokenization.py(14KB)
--------data.py(9KB)
--------ops.py(21KB)
--------scripts()
--------utils.py(1KB)
--------modeling.py(8KB)
--------classifier.py(14KB)
--------README.md(9KB)
--------ckpt_to_pt.py(7KB)
--------multigpu_classifier.py(2KB)
--------distributed_utils.py(3KB)
----data-scripts()
--------download_glue.sh(321B)
--------download_textcls.sh(377B)
----misc()
--------download_glue_data.py(8KB)
----.gitignore(2KB)
----download_all_ckpts.sh(442B)