文件名称:Translation:Sliced Recurrent Neural Networks论文翻译
文件大小:1.04MB
文件格式:PDF
更新时间:2022-11-04 08:43:47
RNN SRNN
循环神经网络在许多NLP任务中都取得了巨大的成功。但是,由于具有循环结构,因此它们很难并 行化,因此训练RNN需要很多时间。在本文中,我们介绍了切片循环神经网络(SRNN),可以通过将 序列分成许多子序列来并行化。 SRNN具有通过很少的额外参数通过多层获取高级信息的能力。我们证 明了使用线性激活函数时,标准RNN是SRNN的特例。在不更改循环单位的情况下,SRNN的速度是标 准RNN的136倍,当我们训练更长的序列时,甚至可以更快。在六个大型情感分析数据集上进行的实验表明,SRNN比标准RNN具有更好的性能。