1.seq2seq：分为encoder和decoder
a.在decoder中，第一时刻输入的是上encoder最后一时刻的状态，如果用了双向的rnn，那么一般使用逆序的最后一个时刻的输出（网上说实验结果比较好）
b.每一时刻都有一个输出，即：[batch_size, decoder_output_size]，经过一个MLP后，都跟词汇表中的每一个词都对应了一个概率，即: [batch_size, vocab_size]。
c.将每一个时刻的输出拼接起来，那么就是[batch_size, decoder_timestep, vocab_size]，然后用beam search去寻找最优的解。
2.seq2seq attention: 在decoder的时候加入了attention机制
a.在decoder中，第一时刻输入的是上encoder最后一时刻的状态，如果用了双向的rnn，那么一般使用逆序的最后一个时刻的输出c0（网上说实验结果比较好），以后每一个时刻的输入则是上一时刻的输出与encoder的隐状态计算attention加权的结果。
b.attention:
1).用c0去跟encoder的所有时间步骤中的输出，进行match，即：用c0去和所有的输入求一个相似度，那么这个就是一个权值（attention的权值），含义就是当前时刻的输入是有encoder中的哪几个时刻来决定的，就是神经网络翻译中的那张经典的图。
2).decoder第一个时间步骤c1，会输出一个向量，那么再重复1)中的步骤用c1替换c0
c.将每一个时刻的输出拼接起来，那么就是[batch_size, decoder_timestep, vocab_size]，然后用beam search去寻找最优的解。
attention decoder tensorflow api
https://tensorflow.google.cn/api_docs/python/tf/contrib/legacy_seq2seq/attention_decoder
在输入decoder的时候，输入的是
a.decoder input: 正确的输出序列，为什么要输入正确的序列，用正确的每个时刻的输入来替换上一时刻的输出，例如：t0时刻的输出应该输入到t1时刻，但是这里直接输入decoder inputs t1时刻的序列，把decoder input t1时刻的输入与decoder t0的输出拿来计算Loss，相当于引导的作用；而在测试的时候，直接用上一时刻的输出，不用decoder input。
b.init state: 初始化状态。
c.attention state: 注意力状态
d.cell: rnn cell
e.num_threads: 相当于计算出来的attention的倍数
f.loop_function: 如果为空，则不使用，如果不为空，则对上一时刻的输出做一些处理，用返回值替换上一时刻的输出
g.init_state_attention: 如果为true，则用c中的attention state来计算attention，如果为false，则全部为0；在训练时，置为0，因为下一时刻的输入是由decoder input来决定的，不关attention的事，所有用不到，所有为0.
在计算loss的时候，有一个weight，因为输出的序列长度不固定（开始我们固定了输出序列长度，不足则pad），为了方便计算loss，有词的地方（时间序列）*1，没有词的地方* 0，表示不计算loss。
在训练的时候：
输入到模型中有两个decoder inputs，一个是输入到decoder里面的，一个是输入到loss里面的，输入到decoder里面的需要再前面加一个开始符，因为是要训练的，第一个时刻的输出是词，所以是[start_token,word_embed,word_embed,....]；输入到loss里面的是[word_embed,word_embed,....,end_token]
上面的输入是loss输入，下面的输入是decoder的输入，每个时刻拿来计算loss，最后对loss求和。