文件名称：transformers_without_tears:无泪变形金刚
文件大小：9.98MB
文件格式：ZIP
更新时间：2024-05-25 04:13:53
machine-translation pytorch transformer attention-is-all-you-need Python
Ace：Pytorch中Transformer的实现 圣母大学 这是纸质的重新实现。 尽管该代码最初是为使用多语言NMT进行实验而开发的，但本文以及本指南中提到的所有实验仅适用于双语。 关于代码的多语言部分，我遵循并添加了以下更改： 语言嵌入：每种语言都有一个嵌入向量，该向量被求和以输入单词嵌入，类似于位置嵌入 在BPE之前对数据进行过采样：首先将训练句子按语言分组，然后根据每种语言的大小计算启发式多项式分布。 我们根据这种分布对每种语言的句子进行抽样，以便更好地表示稀有语言，并且不会将其分解为非常短的BPE段。 请参阅以获取更多信息。 我自己的实现在preprocessing.py 如果我们仅针对双语进行培训，则添加语言嵌入和超采样数据不会有任何区别（根据我的早期实验）。 但是，我将它们保留在代码中，因为它们以后可能会有用。 该代码仅使用Python 3.6和PyTorch 1
【文件预览】：
transformers_without_tears-master
----data_manager.py(7KB)
----preprocessing.py(9KB)
----scripts()
--------multi-bleu-detok.perl(6KB)
--------multi-bleu.perl(5KB)
----utils.py(2KB)
----configurations.py(1KB)
----main.py(3KB)
----model.py(6KB)
----controller.py(19KB)
----LICENSE(1KB)
----all_constants.py(480B)
----layers.py(18KB)
----data()
--------en2vi()
--------readme.md(78B)
----readme.md(10KB)
----ace.jpg(344KB)