【文件属性】：
文件名称：fast-transformers:Pytorch库用于快速实现变压器
文件大小：212KB
文件格式：ZIP
更新时间：2021-03-18 10:58:31
Python
快速变形金刚
变压器是非常成功的模型，可以在许多自然语言任务中达到最先进的性能。但是，由于自我注意的二次缩放，很难将它们缩放为长序列。
该库是为我们对变压器快速关注的研究而开发的。您可以找到我们的论文清单，以及相关的论文和已实施的论文。
快速开始
以下代码构建了一个具有softmax注意和一个线性注意的变压器，并比较了每个变压器编码1000个元素所需的时间。
import torch
from fast_transformers . builders import TransformerEncoderBuilder
# Create the builder for our transformers
builder = TransformerEncoderBuilder . from_kwargs (
n_layers = 8 ,
n_heads = 8 ,
que