目标跟踪之ECO：Efficient Convolution Operators for Tracking

一. 相关滤波算法总结

作者首先分析了 影响相关滤波算法效率 和 导致过拟合 的几个原因：

1）Model Size (模型大小）

包括两个方面：

－模型层数，对应多分辨率 Sample，比如多层 CNN

－特征维度，对应庞大的 HOG or CNN特征图

这里的效率影响是显而易见的，层数或特征越多，表现力越丰富，计算量也相应的线性增加（如C-COT需要在线学习800,000个参数）。

另外，也是作者一直Focus的问题，复杂模型带来的Over-Fitting问题，导致准确度下降。

2）Training Set Size（训练集大小）

训练集是指所用到的训练数据，只用到上一帧的数据进行计算，效率就比较高；如果要用到之前若干帧的数据进行训练（比如加权平均），效率就会低。

保留训练集的优点在于，仅仅通过 online learning 会导致新学到的特征出错（比如遮挡），不足以表达正确的对象。

PS：DSST 仅用上一帧Sample训练，但是是通过和之前模型累加，保留了前面若干帧的信息，在兼顾训练集的基础上确保了效率。

3）Model Update（模型更新）

理想情况下，我们希望每一帧都进行模型更新，实时特征更新能够保证准确性，但同样会带来效率负担，探讨间隔帧模式下的模型更新策略是提高效率的一个思路。

二. ECO 方法引入

针对相关滤波算法存在的上述问题，作者提出了 ECO 方法。

论文下载：Efficient Convolution Operators for Tracking

作者提出来三个 Contribution，对应上面三个问题的改进：

1）对卷积操作进行因式分解，减少模型参数

Factorized convolution operator，通过提取特征子集来进行降维。

2）简化了训练集生成，并保证Sample多样性

提出 Generative Sample Space Model，将类似的 Sample 归并到一个 Component，训练样本从多个 Component 中选择。

3）改进模型更新策略

采用新的 Model Update Strategy，将更新间隔（Ns）设为6，通过测试发现，稀疏更新策略能避免模型漂移问题（Model Drift），提高速度和健壮性。

三. 算法概要

针对上面三个方向进行展开，详细描述算法思路。

> 3.1 Factorized convolution operator

这篇文章最大的亮点 - 从论文命名也能看得出来，占据了最大的篇幅。

算法基于C-COT，因此先亮出 C-COT 最关键的公式：

Point 1：提取连续特征

通过 t 进行插值，将特征图（Feature Map）转换到连续的空间域。得到的结果 J{x} 即为提取的特征。

Point 2：根据对应层相关滤波器 Filter （f）计算 Score

Point 3：定义目标函数

针对训练样本 xj 构造高斯函数 yj，通过 L2 Norm 构造最小二乘目标函数，并添加权值惩罚项 w，这都是比较常用的做法：

通过 Parseval’s formula 进行傅里叶变换，得到：

Point 4：减少滤波器（new）

通过可视化发现，C-COT很多滤波器能量很小，对于结果其实是没什么贡献，因此提出方法 从 D个滤波器中选择贡献最大的C个，进行降维：

作者利用了卷积的线性特征，通过一个 D*C 的系数矩阵 P，将原来的 Score 函数进行如下变换：

同样在原来的目标函数（公式4）基础上得到新的目标函数（公式7）：

其中 z = J{x}，代入求共轭即得到公式（7），最后加入参数矩阵P的惩罚项，对应权值参数 λ。

Point 5：目标函数求解（new）

与原始的Loss函数不同，新定义的Loss公式(7) 是个非线性的最小二乘问题，双线性子项使得该问题类似矩阵的因式分解问题。

作者采用了高斯牛顿法（Gauss-Newton）和共轭梯度法（Conjugate Gradient）来求解。

求解目标就是根据输入的训练数据（或者叫训练特征）得到使得 E最小的滤波器 f，具体求解过程不再展开了。