【文件属性】：
文件名称：R-net：PyTorch中的R-net，带有ELMo
文件大小：251KB
文件格式：ZIP
更新时间：2021-03-03 17:13:14
pytorch squad r-net allennlp Python
R-net在和的非正式实现。
实际上，我并没有完全重现本文的模型，因为有些细节对我来说不是很清楚，而且自我匹配的动态关注需要太多的记忆。 相反，我根据 （在Tensorflow中）实现了R-Net的变体。
原始R-net和HKUST R-net之间的最大区别是：
原始R-net在RNN的每个步骤中都进行关注，这意味着隐藏状态会参与关注度计算。 我称其为动态关注。
在HKUST R-Net中，在执行RNN之前要先计算注意力（成对编码器和自匹配编码器）。 我称它为静态注意力。
中的一些细节可以提高性能：
问题和段落共享相同的GRU句子编码器，而不是分别使用两个GRU编码器。
句子编码器具有三层，但其输出是三层的连接，而不是顶层的输出。
配对编码器和自匹配编码器中的GRU只有一层，而不是三层。
变差应用于（1）RNN的输入（2）注意输入
此外，此回购添加了ELMo单词嵌入，从而进
【文件预览】：
R-net-master
----.gitignore(1KB)
----requirements.txt(28B)
----LICENSE(1KB)
----README.md(3KB)
----configs()
--------squad()
----tests()
--------__init__.py(0B)
--------models()
--------fixtures()
----main.py(5KB)
----modules()
--------pointer_network()
--------gate.py(398B)
--------__init__.py(0B)
--------rnn()
--------utils.py(1KB)
--------pair_encoder()
--------dropout.py(558B)
----qa()
--------__init__.py(0B)
--------squad()
----img()
--------f1.png(136KB)
--------em.png(140KB)