注意就是所有您需要的pytorch:“注意就是您所需要的”中Transformer模型的PyTorch实现

时间:2024-02-24 09:05:07
【文件属性】:

文件名称:注意就是所有您需要的pytorch:“注意就是您所需要的”中Transformer模型的PyTorch实现

文件大小:26KB

文件格式:ZIP

更新时间:2024-02-24 09:05:07

nlp natural-language-processing deep-learning pytorch attention

注意就是您所需要的:Pytorch实现 这是“”中的变压器模型的PyTorch实现(Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,Lukasz Kaiser,Illia Polosukhin,arxiv,2017年)。 一种新颖的序列到序列框架利用自我注意机制,而不是卷积运算或递归结构,在WMT 2014英德翻译任务上实现了最先进的表现。 (2017/06/12) 官方Tensorflow实现可在以下位置找到: 。 要了解有关自我注意机制的更多信息,您可以阅读“”。 该项目现在支持使用训练有素的模型进行培训和翻译。 请注意,该项目仍在进行中。 BPE相关部件尚未经过全面测试。 如果有任何建议或错误,请随时提出问题以通知我。 :) 需求 python 3.4+ pytorch 1.3.1 火炬文字0.4.0 Spacy 2.2.2+ tqdm 莳萝 麻木 用法 WMT'16多式联运翻译:de-en WMT'16多模式翻译任务的培训示例( )。


【文件预览】:
attention-is-all-you-need-pytorch-master
----learn_bpe.py(9KB)
----apply_bpe.py(9KB)
----transformer()
--------Constants.py(75B)
--------Translator.py(4KB)
--------Layers.py(2KB)
--------SubLayers.py(3KB)
--------Optim.py(1KB)
--------__init__.py(367B)
--------Modules.py(674B)
--------Models.py(6KB)
----train.py(12KB)
----translate.py(4KB)
----LICENSE(1KB)
----preprocess.py(12KB)
----.gitignore(1KB)
----README.md(4KB)

网友评论