squad-transformer:无RNN的TensorFlow模型用于SQuAD上的阅读理解

【文件属性】：
文件名称：squad-transformer:无RNN的TensorFlow模型用于SQuAD上的阅读理解
文件大小：1.84MB
文件格式：ZIP
更新时间：2021-05-24 09:11:00
Python 注意是SQuAD的全部需求 概述 有效的阅读理解模型通常依赖于递归神经网络（RNN）来捕获文本中的位置依存关系。 但是，RNN在构造上是顺序的，这限制了在训练和推理过程中可能发生的并行执行量。 在“，作者尝试在神经机器翻译设置中用自我注意力完全替代RNN模块。 它们替代复发性细胞称为“变形金刚”。 本研究的精神是，我们遵循并实施无RNN，基于注意力的模型，该模型在（SQuAD）上具有竞争力。 特别是，我们仅使用卷积，密集层和自我关注，因此我们的模型训练速度比基于RNN的类似模型快约4.5倍。 在不牺牲有效性的情况下就加快了速度：单个模型获得了67.8 / 77.6 EM / F1分数，而10个模型的集合在开发集上的官方评估中获得了70.6 / 79.6 EM / F1分数。 编码器块 我们模型的主要组成部分称为编码器块。 下图显示了一个变压器（左）和一个编码器块（右）。 请注意，编码器模

【文件预览】：
squad-transformer-master
----LICENSE(10KB)
----imgs()
--------model.png(915KB)
--------transformer_vs_encoder_block.png(938KB)
----code()
--------main.py(21KB)
--------data_batcher.py(4KB)
--------preprocessing()
--------saver.py(7KB)
--------evaluate.py(5KB)
--------__init__.py(0B)
--------dataset_stats.ipynb(61KB)
--------model.py(27KB)
--------modules.py(33KB)
----requirements.txt(431B)
----.gitignore(150B)
----README.md(9KB)
----setup_repo.sh(849B)