otb系列 官方下载链接：http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html
其中分为otb50和otb100[1]
以otb50举例，图片来自官网：
其中每类图下面类似于SV是其中每个视频序列存在的挑战性，具体为：
IV: 光照变化——目标区域的光照发生了显著变化。
SV: 比例变化——第一帧和当前帧的边框比例超出ts范围，ts > 1 (ts=2)。
OCC: 遮挡-目标部分或全部被遮挡。
DEF: 变形-非刚性物体的变形。
MB: 运动模糊-目标区域由于目标或相机的运动而模糊。
FM: 快速运动-地面真实的运动大于tm像素(tm=20)。
IPR: 平面内旋转-目标在图像平面内旋转。
OPR: 面外旋转-目标旋转出图像平面。
OV: 目标的一部分离开视图。
BC: 背景杂波——目标附近的背景具有与目标相似的颜色或纹理。
LR: 低分辨率-地面真实边界框内的像素数小于tr (tr =400)。
我们常说的还有OTB2013和OTB2015，时间是根据发表benchmark的时间来的[2]。
OTB2013：其视频序列为对应作者在CVPR2013发表文章Wu Y, Lim J, Yang M H. Online object tracking: A benchmark [C]// CVPR, 2013.中的51个视频序列
所以OTB50跟OTB2013略有出入。
视频序列名称为：
Ironman Matrix MotorRolling Soccer Skiing Freeman4 Freeman1 Skating1 Tiger2 Liquor Coke Football Fleetface Couple Tiger1 Woman Bolt Freeman3 Basketball Lemming Singer2 Subway CarScale David3 Shaking Sylvester Girl Jumping Trellis David Boy Deer Faceocc2 Dudek Football1 Suv Jogging_1 Jogging_2 MountainBike Crossing Singer1 Dog1 Walking Walking2 Doll Car4 David2 CarDark Mhyang Faceocc1 Fish
OTB2015：OTB100与OTB2015相同， 其对应视频序列为作者发表文章Wu Y, Lim J, Yang M H. Object tracking benchmark [J]. TPAMI, 2015.中的100个视频序列。其中Skating、Jogging因标注对象不同，分别看作两个视频序列。
视频序列名称为：
Basketball Biker Bird1 Bird2 BlurBody BlurCar1 BlurCar2 BlurCar3 BlurCar4 BlurFace BlurOwl Board Bolt Bolt2 Box Boy Car1 Car2 Car24 Car4 CarDark CarScale ClifBar Coke Couple Coupon Crossing Crowds Dancer Dancer2 David David2 David3 Deer Diving Dog Dog1 Doll DragonBaby Dudek FaceOcc1 FaceOcc2 Fish FleetFace Football Football1 Freeman1 Freeman3 Freeman4 Girl Girl2 Gym Human2 Human3 Human4 Human5 Human6 Human7 Human8 Human9 Ironman Jogging_1 Jogging_2 Jump Jumping KiteSurf Lemming Liquor Man Matrix Mhyang MotorRolling MountainBike Panda RedTeam Rubik Shaking Singer1 Singer2 Skater Skater2 Skating1 Skating2_1 Skating2_2 Skiing Soccer Subway Surfer Suv Sylvester Tiger1 Tiger2 Toy Trans Trellis Twinnings Vase Walking Walking2 Woman
OTB评价指标：[3]
主要使用两类评价指标，一类是平均像素误差Average Pixel Error（APE），二类是平均重叠率Average Overlap Rate（AOR）
平均像素误差：顾名思义，平均像素误差就是根据预测目标中心位置与真实位置的像素距离作为误差值，该值越大，说明误差越大。最终结果取帧平均。
平均重叠率：平均重叠率O是以面积来衡量的 算交并比。
像素误差和重叠率都可以做成成功率图（Success Plot）
VOT数据集官方下载链接[4]：http://www.votchallenge.net/howto/
VOT2013提出了六种视觉属性[5]：
相机移动（camera motion，即抖动模糊）
光照变化（illumination change）
目标尺寸变化（object size change）
目标动作变化（object motion change，和相机抖动表现形式类似，都是模糊）
未退化（non-degraded）。
评价系统：在VOT提出之前，比较流行的评价系统是让tracker在序列的第一帧进行初始化，之后让tracker一直跑到最后一帧。然而tracker可能会因为其中一两个因素导致其在开始的某些帧就跟丢（fail），所以最终评价系统只利用了序列的很小一部分，造成浪费。而VOT提出，评价系统应该在tracker跟丢的时候检测到错误（failure），并在failure发生的5帧之后对tracker重新初始化（reinitialize），这样可以充分利用数据集。之所以是5帧而不是立即初始化，是因为failure之后立即初始化很可能再次跟踪失败，又因为视频中的遮挡一般不会超过5帧，所以会有这样的设定。
这是VOT的一个特色机制，即重启（reset/reinitialize）。但重启之后的一部分帧是不能用于评价的，这些帧被称作burn-in period，大量实验结果表明，burn-in period大约为初始化之后（包括第一帧的初始化和所有重启）的10帧。
VOT最重要的两个评价指标：Accuracy和Robustness
排名机制：
将tracker在不同属性序列上的表现按照accuracy（A）和robustness（R）分别进行排名，再进行平均，得到该tracker的综合排名，依据这个综合排名的数字大小对tracker进行排序得出最后排名。这个排名叫做AR rank。
具体操作为：首先让tracker在同一属性的序列下测试，对得到的数据（average accuracy/average robustness）进行加权平均，每个数据的权重为对应序列的长度，由此得到单个tracker在该属性序列上的数据，然后对不同tracker在该属性序列下进行排名。得到单个tracker在所有属性序列下的排名后，求其平均数（不加权）得到AR rank。
评价tracker跟踪速度的指标——EFO Equivalent Filter Operations
EFO是用来衡量速度的指标，以往我们谈速度，都需要谈硬件，再说fps，但是通过EFO指标可以减少硬件差异带来的影响。
首先测试该机器在600×600图像上，对每个像素进行30×30滤波的时间。
然后将跟踪算法耗时除以该机器上进行以上滤波操作的时间，这样得到的值就是EFO值，最大程度的减少了硬件的影响。
EAO：Expect Average Overlaprate
即精度的衡量方式是平均重叠率
鲁棒性使用跟踪算法跟丢目标的次数来衡量
VOT2015提出，基于AR rank的评价方式没有充分利用accuracy和robustness的原始数据（raw data），所以创造了一个新的评价指标——EAO(Expected Average Overlap)。正如字面意思，这个评价指标只针对基于overlap定义的accuracy。
通过一种方式，在一张图中同时反映精度和鲁棒性，这就是EOA图
在这里插入图片描述
参考博客：
[1] http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html
[2] https://blog.csdn.net/qq_22763299/article/details/89883862
[3] https://blog.csdn.net/weixin_36761349/article/details/90370537
[4] http://www.votchallenge.net/howto/
[5] https://blog.csdn.net/Dr_destiny/article/details/80108255