文件名称:TRTorch:使用TensorRT的NVIDIA GPU的PyTorchTorchScript编译器
文件大小:12.47MB
文件格式:ZIP
更新时间:2024-02-25 14:56:21
machine-learning deep-learning cuda pytorch nvidia
TRT火炬 PyTorch JIT的提前(AOT)编译 TRTorch是PyTorch / TorchScript的编译器,通过NVIDIA的TensorRT深度学习优化器和运行时针对NVIDIA GPU。 与PyTorch的即时(JIT)编译器不同,TRTorch是一种提前(AOT)编译器,这意味着在部署TorchScript代码之前,您需要经过一个显式的编译步骤,才能将标准的TorchScript程序转换为模块。以TensorRT引擎为目标。 TRTorch充当PyTorch扩展,并编译与JIT运行时无缝集成的模块。 使用优化图进行编译后,应该感觉与运行TorchScript模块没有什么