文件名称：linformer-pytorch:我对Pytorch的Linformer的实际实现的看法
文件大小：432KB
文件格式：ZIP
更新时间：2024-04-09 14:34:54
machine-learning deep-learning paper pytorch artificial-intelligence
Linformer Pytorch实施 实际实现。注意只有n的线性复杂度，可以在现代硬件上处理非常长的序列长度（1mil +）。 此回购协议是一个样式转换器，带有编码器和解码器模块。这里的新颖之处在于，现在，人们可以使注意力转向线性。在下面查看如何使用它。 这正在wikitext-2上进行验证。目前，它的性能与其他稀疏注意力机制（例如水平相同，但仍必须找到最佳的超参数。 头部的可视化也是可能的。要查看更多信息，请查看下面的“可视化”部分。 我不是本文的作者。 123万代币 安装 pip install linformer-pytorch 或者， git clone https://github.com/tatp22/linformer-pytorch.git cd linformer-pytorch 代码示例 Linformer语言模型 from linformer_pytorch
【文件预览】：
linformer-pytorch-master
----linformer_pytorch()
--------linformer_pytorch.py(20KB)
--------padder.py(1KB)
--------visualizer.py(3KB)
--------__init__.py(260B)
----head_vis.png(352KB)
----LICENSE(1KB)
----linformer.png(68KB)
----examples()
--------example_conv.py(496B)
--------example_intermediate_ff.py(524B)
--------example.py(444B)
--------example_lm.py(530B)
--------example_no_params.py(494B)
--------example_full_attn.py(452B)
--------example_enc_dec_module.py(399B)
--------example_small.py(448B)
--------example_vis.py(659B)
--------example_enc_dec.py(851B)
--------pretrain_tutorial_lm.py(4KB)
--------example_padder.py(784B)
--------example_wo_intermediate.py(480B)
--------pretrain_tutorial.py(3KB)
----.gitignore(28B)
----README.md(17KB)