文件名称:Neural-Machine-Translation:使用注意机制的神经机器翻译
文件大小:5.82MB
文件格式:ZIP
更新时间:2024-06-01 11:12:10
encoder decoder attention mt nmt
神经机器翻译 这是使用Encoder-Decoder机制以及Attention机制(( )于2016年引入的神经机器翻译的一种实现。Encoder-decoder体系结构通常使用一种编码器,该编码器对将源句子转换成固定长度的向量,解码器根据该向量生成翻译。 本文推测使用固定长度向量是提高此基本编码器-解码器体系结构性能的瓶颈,并建议通过允许模型自动(软)搜索源语句的一部分来扩展此范围。与预测目标词相关,而不必明确地将这些部分形成为一个困难的部分。 编码器: seq2seq网络的编码器是RNN,它为输入句子中的每个单词输出一些值。 对于每个输入字,编码器输出一个向量和一个隐藏状态,并将隐藏状态用于下一个输入字。 解码器: 在最简单的seq2seq解码器中,我们仅使用编码器的最后一个输出。 最后的输出有时称为上下文向量,因为它对整个序列中的上下文进行编码。 该上下文向量用作解码器的初始隐
【文件预览】:
Neural-Machine-Translation-master
----images()
--------Encoder.png(49KB)
--------Attention_decoder.png(169KB)
--------Simple_Decoder.png(65KB)
----helper_functions.py(9KB)
----main.py(1KB)
----README.md(3KB)
----data()
--------fra.txt(9.73MB)
--------eng-fra.txt(9.1MB)
----Encoder.py(1KB)
----Decoder.py(1KB)
----AttnDecoder.py(2KB)