一. 简介
选择这篇文章的原因在于能实现 100帧的效果，对于跟踪来讲，大多数应用场景需要实时跟踪，应该说仅仅实时跟踪还不够，还需要计算资源来做 视频解码、检测、比对 等多个工作。
这篇文章 2016年来自 Stanford 大学的 David Held，通过 CNN直接回归的方式得到目标位置。
论文下载：Learning to Track at 100 FPS with Deep Regression Networks
代码下载：【Github】
二. 算法框架
先来概括一下该方法的几个要点：
1）作者实现了一个完全 Offline 的 Training，忽略掉了在线学习（online learning）过程，不需要 FineTuning，帧率因此能达到 100FPS；
PS：在线学习 通常效率较低，而且无法有效利用大量的离线数据。
2）与基于分类的方法不同，直接通过一个 前馈网络（feed-forward）回归到目标对象位置；
PS：让我想起了 3000FPS，直接回归貌似都很暴力的解决问题，呵呵的大数据时代。
看上面的跟踪框架：
a）下面是要跟踪的 target目标，在目标周围 添加了 padding-目的是让网络学习到 目标周围的上下文信息。
Track object 大小是待跟踪目标的2倍。
b）以上一帧的跟踪目标为中心，截取同样是2倍目标大小的区域，作为 Search Region，在 Region区域内实现目标回归。
回归方法的假设是目标移动较慢，并且不存在较大遮挡。否则需要扩大 Search Region 或者考虑和 类似 TLD 的 online learning 方法结合。
3）建立的 Track框架，能够离线学习到 Appearance & Motion 的关系；
Tracker 框架基于 图像比对（image-comparison）的思路，通过 当前帧和上一帧 的 Target 对比实现 Tracking，比基于 Patch 分类的方法要高效的多。
输入是 上一帧的 Target 和当前帧的 Search Region，输出 是相对于 Search Region的目标位置（top left & bottom down）。
三. 数据训练
上节的网络结构可以分成以下几个部分：
1）卷积层 实现了图像的高层特征提取
当然上下两部分可能不太一样，上面部分可能是基于图像的完整表示，下面部分可能权值几种在中间目标位置，whatever。
Conv Layers 来自于CaffeNet，输出为 4096维向量。
2）全连接层 用于特征比较，实现位置回归
网络输出为 4个字段，对应 Box的Location，因此 FC 的功能 可能就隐含了 平移旋转、变形、光线、遮挡 等。
这部分由 3个 FC 层组成，包含 ReLU 和 Dropout。
3）Loss层
Loss层通过计算预测 Box 与 Ground Truth 之间的 L1 Loss 来描述。
基于视频的训练：
四. Data Augmentation
为了增加训练数据，防止过拟合，作者借助图像进行数据增广，通过将图像目标进行 Crop & Scale，可以得到更加丰富的数据，当然大家也可以考虑加入颜色变化和 Warp 来进一步提升数据质量，这里不再多说，看一下 Augment得到的仿真数据：
关于目标位置，给了一个拉普拉斯变换，对于Tracker的贡献 比 高斯变换 还要好，可能大家都看到了这个公式：
用来估算新的Center位置，通过随机的 Crops 来模拟小范围 Motion，详细的介绍可以参考论文。
五. 实验效果
算法通过 Caffe 来实现，超参数的设置也与 CaffeNet 一致，看和其它方法的对比：
总结：
算法虽然效率很高，也借助 Data Augmentation 提升效果，但仍然在 Accuracy 上和经典算法有差距，结合 online learning 肯定是无法回避的。