视频目标检测调研
1.主要问题:
与图像目标检测的主要区别是:
- 视频信息具有大量冗余,这些冗余会如果能合理的利用或者去除,会大大提高处理速度;
- 视频信息中的目标经常会出现变形、遮挡、模糊,这会导致检测结果的不稳定,出现漏检。
2.基本方法:
- 基于单帧图像的
- 结合上下文和时间信息的:
- 双流法
- 三维卷积
- 基于流特征的
-
LSTM
3.基于单帧图像的视频检测方法
基于单帧的视频图像处理方法目前已经研究的很多。主流的方法有R-CNN的系列方法,如:Faster R-CNN;基于回归的方法,如YOLO、SSD。具体特点不详述。
4.结合上下文和时间信息的方法
4.1双流法:T-CNN
对图像的处理在中间分为两个流程:一个流程处理单帧图像信息;一个流程处理时间图像信息。其思想是将检测和追踪结合起来,将已有的方法结合起来了。其处理帧率约在10fps左右。
4.2三维卷积方法:C3D
将视频图像流作为图像处理整体,使用三维卷积对其做深度学习,将空域特征和时域特征同时提取,该方法相比传统的2D方法,能有效的利用时间信息来增加区分度,效率有明显的提高,基于VGG系列的网络帧率可达到313FPS。
4.3基于流特征的方法:DFF和FGFA
基于流特征的方法挺多,这里说的方法是MSRA(MicroSoft Research Asia)提出的两种方法Deep Feature Flow(深度特征流)和Flow Guide Feature Aggregate(流指导特征融合)。
DFF方法是对关键帧做特征提取,其他帧没有特征提取网络,只运行任务网络。以此通过流特征来节省处理时间。其帧率可达到20-30fps,需要根据检测精度做权衡。
FGFA方法是在部分中间帧的特征不明显时,使用前后帧的特征进行融合来获取当前帧的特征图,以此来提高检测效果。其帧率在25-30fps左右。4.4基于长短程记忆的方法:LSTM
我还没有仔细研究,基本原理可能是引入了记忆模块,可以用短程甚至长程的特征来辅助当前帧进行快速特征提取。