两种主流方式
- Re-ID+Kalman过滤器（预测、更新）+匈牙利算法
- GNN方法
基本步骤
①检测 ②特征提取、运动预测 ③相似度计算 ④数据关联
- 检测：上游框架，检测质量对追踪质量的影响最大
检测用于计算车辆/行人之间的特征，区分前景和背景 - 特征提取，运动预测：第t帧识别结果和前t-1帧轨迹特征的提取，包括运动特征和表观特征两种
- 运动特征：匀速运动模型、LSTM(轨迹预测)&MLP(第t帧)
- 表观特征：Re-ID(行人重识别)、CNN、光流
- 运动预测：Kalman滤波、联合概率数据关联、GNN节点消息传递
- 2D特征与3D特征的融合
- 相似度计算：分别计算detection和tracking的运动相似度和表观相似度，再将它们以某种方式融合起来得到最终的相似度矩阵
- IoU、欧氏距离、余弦距离、马氏距离、网络回归
- 数据关联：根据相似度矩阵（代价矩阵）得到最终匹配结果，二部图匹配问题
- 基于IoU的贪婪匹配，只使用运动模型，IoU作为代价矩阵进行贪婪匹配
- 全局最优、局部最优
- 匈牙利算法/KM算法
- GNN
- 基于IoU的贪婪匹配，只使用运动模型，IoU作为代价矩阵进行贪婪匹配
算法
SORT：最base的算法，用于2D追踪
- Kalman滤波+匈牙利匹配，IoU为代价矩阵
- 只使用运动模型，Kalman预测值作为运动特征
- AB3DMOT与该框架相似，但是做的是3D匹配
DeepSORT：SORT的改进，代价函数中加入了表观特征
源码解读：https://zhuanlan.zhihu.com/p/90835266
- Kalman滤波+级联匹配+IoU匹配
- 级联匹配中代价矩阵由表观相似度和运动相似度加权得到
- Re-ID提取表观特征，轨迹表观特征是过去100帧的简单平均，余弦距离计算相似度
- Kalman过滤器预测值作为运动特征，马氏距离计算相似度
- 匈牙利算法得到初步匹配结果
- 丢帧最少的轨迹优先匹配，把轨迹置信度考虑进来了
- IoU匹配
- IoU作为代价矩阵
- 匈牙利算法进行匹配
AB3DMOT：一个3D MOT框架
- Kalman滤波+匈牙利匹配，只使用匀速运动模型，代价矩阵为IoU
- Kalman更新模块涉及到了方向校正的问题，当预测方向和识别方向相差大于π，那么修正预测结果，识别结果出错概率更大还是预测结果出错概率更大，修正哪个会更好一些？
- 更新模块根据贝叶斯规则，将匹配成功的识别结果和轨迹加权平均
- 创新
- 将Kalman滤波器扩展到3D领域
- 提供了3D MOT的评估工具
- 提出了新的评估指标，考虑不同的轨迹置信度阈值
- 实验结果
-
3D detector：影响最大的模块，对比3D 和2D识别器，结果是3D远优于2D，因此可以看出识别质量是追踪过程中最重要的
-
2D&3D卡尔曼过滤器：3D优于2D，深度信息对追踪有帮助，对平坦的路段来说有必要吗？
-
角速度：有角速度反而会降低性能，可能是因为车辆行驶过程中没有明显的角速度变化，因此加入这个维度的信息反而会带来噪声，那么在路口场景下，一定会有很多转弯、掉头等情况，是不是加入角速度会更好一些？
-
方向校正：加入后也会提高性能，如果考虑修改detection的角度会怎样？
-
IoU(min)：越大性能降低越明显
-
新轨迹判定参数*min：小一些会提高精度并且减少FN数量，但是会加大IDS；大一些会会减少遮挡带来的问题，但是精度和准确的都会下降
-
旧轨迹删除参数Agemax ：它对IDS是没有影响的，但是与遮挡是有直接联系的
-
- 优势：速度
GNN3DMOT
https://zhuanlan.zhihu.com/p/149244248
《Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning》
- LSTM/MLP获取运动特征、CNN获取表观特征
- 2D特征与3D特征融合
- 使用网络回归计算相似度
- 预测方面：结合关联矩阵和节点差异
- 损失函数考虑匹配对之间距离更小，非匹配对之间距离更大
- 网络更新：边-节点-全局更新（所有节点的特征均值和边权均值）-边更新，加入了一个全局变量在整个更新过程中进行调节
EDA_GNN
- 孪生网络获取表观相似度、LSTM预测位置，得到运动相似度，两个相似度结合构建相似度矩阵
- 基于消息传递机制，使用GNN网络更新节点特征，节点特征由表观特征和位置信息拼接得到
FairMOT
- 感觉和JDE类似，detection和Re-ID的结合，detection更注重class，而Re-ID是对相同class中个体的identity，所以联合训练还是存在一定的问题
- anchor-free框架（貌似Tracktor++和CentreTrackor也是anchor-free）；Re-ID更关注底层特征，因此使用特征层次融合的方式；Re-ID特征维度不宜过高的问题