文件名称：tensorrt-laboratory：探索TensorRT平台的功能
文件大小：5.67MB
文件格式：ZIP
更新时间：2024-02-24 09:47:59
kubernetes deep-learning cuda grpc inference
TensorRT实验室 TensorRT实验室（trtlab）是构建客户推理应用程序和服务的通用工具集。 是专业级的生产推理服务器。 该项目分为4个主要组成部分： memory基于 ， memory模块旨在为主机和gpu内存编写自定义分配器。 包括几个自定义分配器。 core包含主机/ cpu端工具，用于基于boost光纤的常见组件（例如线程池，资源池和用户空间线程）。 cuda延伸memory具有用于CUDA设备存储器中的新memory_type。 在所有的自定义的分配memory可以使用device_memory ， device_managed_memory或host_pi