文件名称：yolov4-triton-tensorrt:该存储库将YOLOv4作为优化的TensorRT引擎部署到Triton Inference Server
文件大小：365KB
文件格式：ZIP
更新时间：2024-04-09 22:13:23
docker deep-learning object-detection tensorrt yolov4
使用TensorRT的Triton Inference Server上的YOLOv4 该存储库展示了如何将YOLOv4作为优化的引擎部署到 。 Triton Inference Server具有许多现成的优势，可用于模型部署，例如GRPC和HTTP接口，在多个GPU上自动调度，共享内存（甚至在GPU上），运行状况度量和内存资源管理。 TensorRT将通过融合层并为我们的特定硬件选择最快的层实现来自动优化模型的吞吐量和延迟。我们将使用TensorRT API从头开始生成网络，并将所有不支持的图层添加为插件。 构建TensorRT引擎 除了运行中的具有GPU支持的docker环*，不需要运行此代码的依赖项。我们将在TensorRT NGC容器内运行所有编译，以避免必须本地安装TensorRT。 运行以下命令以获取带有我们的回购代码的可运行TensorRT容器： cd yourwork
【文件预览】：
yolov4-triton-tensorrt-master
----layers()
--------yololayer.cu(9KB)
--------yololayer.h(5KB)
----utils()
--------logging.h(16KB)
--------weights.h(1KB)
--------profiler.h(3KB)
----CMakeLists.txt(929B)
----main.cpp(1KB)
----LICENSE(2KB)
----clients()
--------python()
----README.md(9KB)
----networks()
--------yolov4.h(21KB)
----.gitignore(26B)