文件名称：Recurrent-Independent-Mechanisms:递归独立机制（https
文件大小：17.1MB
文件格式：ZIP
更新时间：2024-05-28 15:32:26
deep-learning pytorch recurrent-networks attention rim
循环独立机制 在PyTorch中实施 。 论文摘要 本文旨在建立可以推广到不同环境的模型，这些模型具有与受训环境不同的特定因素。 为了实现这一目标，作者构建了本质上模块化的循环网络，每个模块都独立于其他模块，并且仅通过注意力稀疏地进行交互。 这样，每个模块都可以学习环境的不同方面，并且仅负责确保在不同环境的相同方面具有相似的性能。 这些不同的模块使用LSTM或GRU建模。 模块总数固定为Kt。 在每个时间步，选择固定数量（Ka）的模块以使其处于活动状态。 使用输入注意机制选择这些Ka活动模块。 产生最高输入分数的top-Ka模块被选中为活动状态。 向其他模块提供空输入（全零）。 给定每个模块的新状态（正常LSTM或GRU计算），只要它们的输入来自输入注意，就可以计算出它们的新状态，每个模块便可以使用另一种注意机制（称为通信注意机制）彼此交互。 使用此注意机制仅更新活动模块的状态。 活动
【文件预览】：
Recurrent-Independent-Mechanisms-master
----minigrid_experiments()
--------visualize.py(3KB)
--------train.py(8KB)
--------evaluate.py(4KB)
--------model.py(4KB)
--------utils()
----RIM.py(13KB)
----copying.py(6KB)
----main.py(5KB)
----mnist()
--------t10k-images-idx3-ubyte.gz(1.57MB)
--------t10k-labels-idx1-ubyte.gz(4KB)
--------train-labels-idx1-ubyte.gz(28KB)
--------train-images-idx3-ubyte.gz(9.45MB)
----generator.py(600B)
----__pycache__()
--------data.cpython-36.pyc(3KB)
--------networks.cpython-36.pyc(8KB)
----networks.py(5KB)
----README-RES()
--------N4_RIM.gif(2.66MB)
--------rim_image.png(87KB)
--------16_16_RIM.gif(2.87MB)
--------6_6_RIM_DoorKey.gif(746KB)
--------time_comparison.png(30KB)
--------5X5_LSTM.gif(5.43MB)
--------N4_LSTM.gif(3.55MB)
--------5x5_DoorkKey_LSTM.gif(177KB)
----setup.py(4KB)
----README.md(14KB)
----data.py(4KB)