TRTorch:使用TensorRT的NVIDIA GPU的PyTorchTorchScript编译器

时间:2024-02-25 14:56:21
【文件属性】:

文件名称:TRTorch:使用TensorRT的NVIDIA GPU的PyTorchTorchScript编译器

文件大小:12.47MB

文件格式:ZIP

更新时间:2024-02-25 14:56:21

machine-learning deep-learning cuda pytorch nvidia

TRT火炬 PyTorch JIT的提前(AOT)编译 TRTorch是PyTorch / TorchScript的编译器,通过NVIDIA的TensorRT深度学习优化器和运行时针对NVIDIA GPU。 与PyTorch的即时(JIT)编译器不同,TRTorch是一种提前(AOT)编译器,这意味着在部署TorchScript代码之前,您需要经过一个显式的编译步骤,才能将标准的TorchScript程序转换为模块。以TensorRT引擎为目标。 TRTorch充当PyTorch扩展,并编译与JIT运行时无缝集成的模块。 使用优化图进行编译后,应该感觉与运行TorchScript模块没有什么


网友评论