文件名称：reformer_lm:重整器网络的Pytorch实施（https
文件大小：29KB
文件格式：ZIP
更新时间：2024-03-28 23:37:16
JupyterNotebook
重整器 重整器网络的Pytorch实施（ ） 该代码库的大部分内容是从Google的jax实现中松散翻译的： ： 如何使用 所有的辛苦工作已经得到解决，您需要做的就是实例化模型！ from reformer_lm.reformer_lm import ReformerLM import torch test = torch.rand((4, 4, 64)) model = ReformerLM( vocab_size=300000, d_in=test.shape[-2], d_out=test.shape[-1], n_layers=6, n_heads=1, attn_k=test.shape[-1], attn_v=test.shape[-1], ) output = model(test) print(output)
【文件预览】：
reformer_lm-master
----.github()
--------workflows()
----tests()
--------reformer_lm_test.py(326B)
--------__init__.py(0B)
----docker-compose.yaml(753B)
----LICENSE(1KB)
----reformer_lm()
--------broadcasted_dropout.py(1KB)
--------reformer_lm.py(3KB)
--------gelu.py(317B)
--------chunk.py(712B)
--------Dockerfile(84B)
--------attention.py(1KB)
--------__init__.py(0B)
--------requirements.txt(13B)
--------revnetblock.py(2KB)
--------decoder.py(3KB)
----requirements.txt(100B)
----setup.py(858B)
----.gitignore(2KB)
----README.md(1KB)
----notebooks()
--------dev.ipynb(125KB)
--------Dockerfile(80B)
--------notebooks.md(198B)
--------reversible network.ipynb(9KB)
--------requirements.txt(138B)