【文件属性】：
文件名称：变压器：变压器的TensorFlow实现：您需要注意
文件大小：801KB
文件格式：ZIP
更新时间：2021-02-24 09:05:05
translation transformer implementation attention-mechanism attention-is-all-you-need
[更新]TensorFlow实现
当我在2017年打开此存储库时，还没有官方代码。 我尝试按照我的理解实施该论文，但是毫不奇怪，它存在多个错误。 我意识到他们主要是由于在这里发表文章的人，所以我非常感谢他们所有人。 尽管有以及其他几个非官方的github仓库，但我还是决定更新自己的仓库。 此更新专注于：
可读/可理解的代码编写
模块化（但不要太多）
修改已知的错误。 （屏蔽，位置编码等）
更新到TF1.12。 （tf.data，...）
添加一些缺少的组件（bpe，共享的权重矩阵等）
在代码中包含有用的注释。
我仍然坚持IWSLT 2016 de-en。 我想，如果您想对WMT等大数据进行测试，则需要依靠官方实施。 毕竟，快速检查模型是否有效很令人愉快。 TF1.2的初始代码已移至文件夹进行记录。
要求
python == 3.x（如果您仍然使用python 2，请继续使用py
【文件预览】：
transformer-master
----eval()
--------1()
----tf1.2_legacy()
--------eval.py(3KB)
--------train.py(9KB)
--------data_load.py(4KB)
--------LICENSE(11KB)
--------hyperparams.py(1KB)
--------results()
--------requirements.txt(60B)
--------prepro.py(1KB)
--------modules.py(11KB)
--------README.md(5KB)
--------fig()
----utils.py(5KB)
----multi-bleu.perl(5KB)
----test.py(2KB)
----train.py(4KB)
----test()
--------1()
----data_load.py(5KB)
----LICENSE(11KB)
----requirements.txt(67B)
----prepro.py(5KB)
----hparams.py(3KB)
----model.py(7KB)
----.gitignore(1KB)
----modules.py(11KB)
----README.md(3KB)
----fig()
--------lr.png(20KB)
--------bleu.png(11KB)
--------loss.png(18KB)
----download.sh(144B)