文件名称：lightseq:光序列
文件大小：1.39MB
文件格式：ZIP
更新时间：2024-05-19 07:16:51
cuda inference transformer beam-search sampling
LightSeq：用于序列处理和生成的高性能推理库 LightSeq是一个高性能推理库，用于在CUDA中实现的序列处理和生成。 它可以高效地计算现代NLP模型，例如BERT ， GPT2 ， Transformer等。因此，对于使用这些模型的机器翻译，文本生成，对话框，语言建模以及其他相关任务，它是最有用的。 该库建立在CUDA官方库（ ， ， ）和自定义内核函数（针对这些广泛使用的模型进行了特殊融合和优化）的基础上。 除了模型组件，我们还提供代码来管理从deepleanring框架和服务器训练来的模型权重，这些模型权重是 （在以后的讨论中称为TRTIS）的自定义后端。 借助LightSeq，您只需进行少量代码修改即可轻松部署高效的模型服务或开发自己的模型体系结构。 特征 全面的序列建模支持，包括Bert，GPT，Transformer及其VAE变体。 各种搜索方法，例如波束搜
【文件预览】：
lightseq-master
----setup.py(3KB)
----.clang-format(59B)
----proto()
--------transformer.proto(6KB)
--------transformer_weight.h(5KB)
--------gpt_weight.h(2KB)
--------gpt.proto(2KB)
--------transformer_weight.cc(17KB)
--------gpt_weight.cc(8KB)
--------CMakeLists.txt(1KB)
----.gitignore(17B)
----server()
--------model_config.proto(25KB)
--------gpt_generate_server.cc.cu(17KB)
--------custom.h(10KB)
--------model_config.h(9KB)
--------gptlm_server.cc.cu(17KB)
--------transformer_server.cc.cu(19KB)
--------libserver.ldscript(110B)
--------decoder_generate_server.cc.cu(19KB)
--------model_config_cuda.h(2KB)
--------CMakeLists.txt(4KB)
--------generate_server.cc.cu(20KB)
----model()
--------decoder.h(4KB)
--------gpt_encoder.cc.cu(29KB)
--------gpt_encoder.h(3KB)
--------encoder.cc.cu(10KB)
--------decoder.cc.cu(35KB)
--------encoder.h(2KB)
--------CMakeLists.txt(834B)
----CONTRIBUTING.md(465B)
----LICENSE(11KB)
----kernels()
--------multilgKernels.cc.cu(18KB)
--------common.h(6KB)
--------gptKernels.cc.cu(32KB)
--------transformerKernels.cc.cu(87KB)
--------gptKernels.h(3KB)
--------transformerKernels.h(9KB)
--------multilgKernels.h(1KB)
--------CMakeLists.txt(335B)
----.gitmodules(193B)
----tools()
--------util.cc.cu(6KB)
--------util.h(4KB)
--------CMakeLists.txt(147B)
----README.md(12KB)
----example()
--------transformer_example.cc.cu(5KB)
--------decoder_example.cc.cu(4KB)
--------transformer_generate_example.cc.cu(5KB)
--------gpt_generation.cc.cu(4KB)
--------python()
--------gptlm_example.cc.cu(3KB)
--------CMakeLists.txt(1KB)
----NOTICE(3KB)
----3rdparty()
--------cub()
--------pybind11()
----docs()
--------images()
--------build.md(2KB)
--------export_model.md(5KB)
--------performance.md(14KB)
----CMakeLists.txt(2KB)
----pywrapper()
--------transformer.cc.cu(7KB)
--------transformer_decoder.cc.cu(6KB)
--------wrapper.cc(908B)
--------CMakeLists.txt(143B)