OTB评估指标

OTB评估指标

OTB 可以用来衡量你的目标跟踪算法好坏,它包含一些 benchmark 结果,打好标记(即ground-truth.txt )的数据集,以及一个用来测试你的算法的代码库。

数据集包括50帧的序列和100帧的序列,其中50帧序列的数据集是2013年提出来的,100帧的数据集是2015年提出来的,所以OTB50也叫OTB2013,OTB100也叫OTB2015,相关的数据集和测试代码库都可以在 http://cvlab.hanyang.ac.kr/tracker_benchmark/下载。

不同的数据集还标有不同的属性,这些属性可以代表目标跟踪领域的常见难点。例如,IV(Illumination Variation)表示光照变化,SV(Scale Variation )表示尺度变化,OCC(Occlusion )表示遮挡,DEF(Deformation )表示变形,MB(Motion Blur )表示运动模糊,FM(Fast Motion)表示快速移动,IPR(In-Plane Rotation)表示平面内旋转,OPR(Out-of-Plane Rotation)表示平面外旋转,OV(Out-of-View )表示离开视野,BC(Background Clutters )表示相似的背景,LR(Low Resolution)表示低的分辨率。

精确图 precision plot

追踪算法估计的目标位置(bounding box)的中心点与人工标注(ground-truth)的目标的中心点,这两者的距离小于给定阈值的视频帧的百分比。不同的阈值,得到的百分比不一样,因此可以获得一条曲线。

该评估方法的缺点:无法反映目标物体大小与尺度的变化。

成功率图 Success Plot

首先定义重合率得分(overlap score,OS),追踪算法得到的bounding box(记为a),与ground-truth给的box(记为b),重合率定义为:OS = |a∩b|/|a∪b|,|·|表示区域的像素数目。当某一帧的OS大于设定的阈值时,则该帧被视为成功的(Success),总的成功的帧占所有帧的百分比即为成功率(Success rate)。OS的取值范围为0~1,因此可以绘制出一条曲线。

OPE

用ground-truth中目标的位置初始化第一帧,然后运行跟踪算法得到平均精度和成功率。这种方法被称为one-pass evaluation (OPE)。

鲁棒性评估(SRE,TRE)

通过从时间(temporally,从不同帧起始)和空间(spatially,不同的bounding box)上打乱,然后进行评估。可以分为:temporal robustness evaluation (TRE) 和 spatial robustness evaluation (SRE)。

在一个图片/视频序列中,每个跟踪算法从不同的帧作为起始进行追踪(比如分别从第一帧开始进行跟踪,从第十帧开始进行跟踪,从第二十帧开始进行跟踪等),初始化采用的bounding box即为对应帧标注的ground-truth。最后对这些结果取平均值,得到TRE score。

由于有些算法对初始化时给定的bounding box比较敏感,而目前测评用的ground-truth都是人工标注的,因此可能会对某些跟踪算法产生影响。因此为了评估这些跟踪算法是否对初始化敏感,作者通过将ground-truth轻微的平移和尺度的扩大与缩小来产生bounding box。平移的大小为目标物体大小的10%,尺度变化范围为ground-truth的80%到120%,每10%依次增加。最后取这些结果的平均值作为SRE score。

以上,就是OTB评估的几个指标。

发布于 2019-03-24 22:31