文件名称：重整器-火炬：Pytorch中的高效变压器
文件大小：69.89MB
文件格式：ZIP
更新时间：2024-02-24 00:43:59
machine-learning transformers pytorch artificial-intelligence attention-mechanism
重整器，高效的变压器，在火炬 这是改革者的Pytorch实现 它包括LSH注意，可逆网络和分块。 它已通过自动回归任务（enwik8）进行了验证。 它还包括其他功能，可以使整个网络完全受到关注。 32k代币 半精度81k令牌 安装 $ pip install reformer_pytorch 用法 一个简单的改革者语言模型 # should fit in ~ 5gb - 8k tokens import torch from reformer_pytorch import ReformerLM model = ReformerLM ( num_tokens = 20000 , dim = 1024 , depth = 12 , max_seq_len = 8192 , heads = 8 , lsh_dropout = 0.1 , ff_dropout = 0.1 , post_attn_dropout = 0.1 , layer_dropout = 0.1 , # layer dropout from
【文件预览】：
reformer-pytorch-master
----setup.py(845B)
----.gitignore(2KB)
----lsh_attention.png(123KB)
----reformer_pytorch()
--------__init__.py(258B)
--------reversible.py(5KB)
--------reformer_pytorch.py(31KB)
--------autopadder.py(2KB)
--------generative_tools.py(3KB)
--------reformer_enc_dec.py(3KB)
--------recorder.py(2KB)
----LICENSE(1KB)
----setup.cfg(61B)
----.github()
--------workflows()
----examples()
--------enwik8_simple()
--------enwik8_deepspeed()
----README.md(18KB)
----pretraining()
--------requirements.txt(129B)
--------README.md(280B)
--------self-supervised.py(15KB)
--------self-supervised.ipynb(88KB)
----.gitattributes(31B)