Tensor RT的介绍在此不做赘述。
自己在服务器上本打算装Tensor RT来着，不过过程很艰辛，最后发现服务器的cudnn版本偏低了，还需要升级cudnn的版本。故，在自己的电脑上了装了下Tensor RT，同时给自己的电脑将cudnn的版本从7.4升级到了7.5，并跑通了基本的例程。
下面对于Tensor RT的学习进行介绍。
在英伟达的官网上，有几个文档，第一个是支持的Matrix运算，就是各种已经支持的层，第二个安装的文档，第三个是版本记录，第四个是开发手册，第五个是如何去优化TensorRT的表现，第六个是配套的各种example的使用教程。
开发文档主要内容
现在看的是TensorRT5，几个文档中最重要的是开发文档。
在Windows下，现在是用不了Python API的，所以主要看的是C++的API。C++ API部分主要讲的内容有：
1、创建网络定义（可以自己定义，可以从Caffe、TF、ONNX导入模型）
2、Building An Engine
3、序列化该模型
4、执行前向
5、内存管理
6、Refitting An Engine
其余的部分是：扩展Tnesor RT 用自定义(Custom) layer、混合精度使用。
视频：https://yq.aliyun.com/video/play/1381?utm_content=m_45632&do=login