文件名称：collaborative-attention:多头注意力代码
文件大小：23KB
文件格式：ZIP
更新时间：2024-04-08 22:38:31
Python
协作注意力 Jean-Baptiste Cordonnier，Andreas Loukas和Martin Jaggi撰写的论文《多头》的代码。 使用子模块git clone --recurse-submodules https://github.com/epfml/collaborative-attention.git克隆此git clone --recurse-submodules https://github.com/epfml/collaborative-attention.git 我们提供了一个python软件包，用于将任何经过预训练的注意力层重新配置为协作注意力层。这允许在不影响模型性能的情况下减小键/查询的维数。我们的因式分解可用于预先训练，以取代串联的头部注意力，也可以在微调之前用作压缩方法。 安装 克隆此存储库并使用pip安装软件包： # you need to have
【文件预览】：
collaborative-attention-master
----.gitmodules(197B)
----run_glue.py(13KB)
----fairseq()
----tools()
--------make_anonymous_submission.py(2KB)
----deit()
----.github()
--------workflows()
----tests()
--------test_reparametrization.py(2KB)
----LICENSE(11KB)
----src()
--------collaborative_attention()
----setup.py(532B)
----.gitignore(50B)
----README.md(7KB)