文件名称：FasterTransformer:变压器相关的优化，包括BERT，GPT
文件大小：7.92MB
文件格式：ZIP
更新时间：2024-04-26 07:57:06
C++
更快的变形金刚 该存储库提供了脚本和配方来运行高度优化的基于变压器的编码器和解码器组件，并且已由NVIDIA测试和维护。 目录 型号概述 在NLP中，编码器和解码器是两个重要的组件，而变压器层成为这两个组件的流行架构。 FasterTransformer为编码器和解码器实现了高度优化的转换器层，以进行推理。 在Volta，Turing和Ampere GPU上，当数据和权重的精度为FP16时，将自动使用Tensor Core的计算能力。 FasterTransformer v1.0为推理提供了高度优化的BERT等效Transformer层，包括C ++ API，TensorFlow op和TensorRT插件。 实验表明，FasterTransformer v1可以在NVIDIA Tesla T4和NVIDIA Tesla V100上提供1.3到2倍的加速，以进行推理。 在FasterT