【文件属性】:
文件名称:fp16tensorRT:基于API的TensorRT模型上的TensorRT半精度推理例程
文件大小:243KB
文件格式:ZIP
更新时间:2021-05-09 01:10:06
OpenEdgeABL
目标
这是用C ++ TensorRT API编写的TensorRT模型的工作示例,以半精度模式运行推理。 可以运行全精度和半精度模式的推断。
内容
demo.cpp模型定义和推断
wts_gen_demo.py权重文件从numpy数组的常规字典转换为TensorRT wts格式(全精度或半精度)
./images测试图像以运行推理
./data数据文件夹,包含泡菜字典格式和TensorRT wts格式的权重
Makefile
依存关系
OpenCV> = 2.4
TensorRT RC 4.0.0.3
CUDA 9.0
要求
需要具有FP16支持的NVIDIA GPU。 我们在Tesla V100上进行了测试。
【文件预览】:
fp16tensorRT-master
----.gitignore(28B)
----images()
--------20.jpg(49KB)
--------18.jpg(49KB)
--------9.jpg(45KB)
--------2.jpg(43KB)
----Makefile(2KB)
----data()
--------weights_demo16_plain.wts(22KB)
--------weights_demo.p(20KB)
--------weights_demo32.wts(16KB)
--------weights_demo32_plain.wts(22KB)
--------weights_demo16_v2.wts(9KB)
--------weights_demo16.wts(16KB)
----wts_gen_demo.py(3KB)
----README.md(709B)
----demo.cpp(14KB)
----fp16.h(3KB)