文件名称：服务器：Triton Inference Server提供了优化的云和边缘推理解决方案
文件大小：4.75MB
文件格式：ZIP
更新时间：2024-02-25 07:39:42
machine-learning cloud deep-learning gpu inference
Triton推理服务器 最新版本：您目前在master分支上，该分支跟踪开发进度到下一发行版。 Triton Inference Server的最新版本是2.5.0，可在分支上。 Triton Inference Server提供了针对CPU和GPU优化的云和边缘推理解决方案。 Triton支持HTTP / REST和GRPC协议，该协议允许远程客户端为服务器管理的任何模型请求推理。 对于边缘部署，Triton可以作为具有C API的共享库使用，该API允许Triton的全部功能直接包含在应用程序中。 Triton Inference Server的当前版本为2.5.0，与上的triton