文件名称：fp16tensorRT:基于API的TensorRT模型上的TensorRT半精度推理例程
文件大小：243KB
文件格式：ZIP
更新时间：2024-05-28 18:56:46
OpenEdgeABL
目标 这是用C ++ TensorRT API编写的TensorRT模型的工作示例，以半精度模式运行推理。 可以运行全精度和半精度模式的推断。 内容 demo.cpp模型定义和推断 wts_gen_demo.py权重文件从numpy数组的常规字典转换为TensorRT wts格式（全精度或半精度） ./images测试图像以运行推理 ./data数据文件夹，包含泡菜字典格式和TensorRT wts格式的权重 Makefile 依存关系 OpenCV> = 2.4 TensorRT RC 4.0.0.3 CUDA 9.0 要求 需要具有FP16支持的NVIDIA GPU。 我们在Tesla V100上进行了测试。
【文件预览】：
fp16tensorRT-master
----.gitignore(28B)
----images()
--------20.jpg(49KB)
--------18.jpg(49KB)
--------9.jpg(45KB)
--------2.jpg(43KB)
----Makefile(2KB)
----data()
--------weights_demo16_plain.wts(22KB)
--------weights_demo.p(20KB)
--------weights_demo32.wts(16KB)
--------weights_demo32_plain.wts(22KB)
--------weights_demo16_v2.wts(9KB)
--------weights_demo16.wts(16KB)
----wts_gen_demo.py(3KB)
----README.md(709B)
----demo.cpp(14KB)
----fp16.h(3KB)