您现在的位置是:首页 > 正文

评估目标跟踪算法

2024-02-01 00:29:06阅读 2

一、OTB评估指标

OTB 可以用来衡量你的目标跟踪算法好坏,它包含一些 benchmark 结果,打好标记(即ground-truth.txt )的数据集,以及一个用来测试你的算法的代码库。

数据集包括50帧的序列和100帧的序列,其中50帧序列的数据集是2013年提出来的,100帧的数据集是2015年提出来的,所以OTB50也叫OTB2013,OTB100也叫OTB2015,相关的数据集和测试代码库都可以在http://cvlab.hanyang.ac.kr/tracker_benchmark/ 下载。

不同的数据集还标有不同的属性,这些属性可以代表目标跟踪领域的常见难点。例如,IV(Illumination Variation)表示光照变化,SV(Scale Variation )表示尺度变化,OCC(Occlusion )表示遮挡,DEF(Deformation )表示变形,MB(Motion Blur )表示运动模糊,FM(Fast Motion)表示快速移动,IPR(In-Plane Rotation)表示平面内旋转,OPR(Out-of-Plane Rotation)表示平面外旋转,OV(Out-of-View )表示离开视野,BC(Background Clutters )表示相似的背景,LR(Low Resolution)表示低的分辨率。

  1. 精确图 precision plot
    追踪算法估计的目标位置(bounding box)的中心点与人工标注(ground-truth)的目标的中心点,这两者的距离小于给定阈值的视频帧的百分比。不同的阈值,得到的百分比不一样,因此可以获得一条曲线。

    该评估方法的缺点:无法反映目标物体大小与尺度的变化。

  2. 成功率图 Success Plot
    首先定义重合率得分(overlap score,OS),追踪算法得到的bounding box(记为a),与ground-truth给的box(记为b),重合率定义为:OS = |a∩b|/|a∪b|,|·|表示区域的像素数目。当某一帧的OS大于设定的阈值时,则该帧被视为成功的(Success),总的成功的帧占所有帧的百分比即为成功率(Success rate)。OS的取值范围为0~1,因此可以绘制出一条曲线。

  3. OPE
    用ground-truth中目标的位置初始化第一帧,然后运行跟踪算法得到平均精度和成功率。这种方法被称为one-pass evaluation (OPE)。

  4. 鲁棒性评估(SRE,TRE)
    通过从时间(temporally,从不同帧起始)和空间(spatially,不同的bounding box)上打乱,然后进行评估。可以分为:temporal robustness evaluation (TRE) 和 spatial robustness evaluation (SRE)。

    在一个图片/视频序列中,每个跟踪算法从不同的帧作为起始进行追踪(比如分别从第一帧开始进行跟踪,从第十帧开始进行跟踪,从第 二十帧开始进行跟踪等),初始化采用的bounding box即为对应帧标注的ground-truth。最后对这些结果取平均值,得到TRE score。

    由于有些算法对初始化时给定的bounding box比较敏感,而目前测评用的ground-truth都是人工标注的,因此可能会对某些跟踪算法产生 影响。因此为了评估这些跟踪算法是否对初始化敏感,作者通过将ground-truth轻微的平移和尺度的扩大与缩小来产生bounding box。平移 的大小为目标物体大小的10%,尺度变化范围为ground-truth的80%到120%,每10%依次增加。最后取这些结果的平均值作为SRE score。

以上,就是OTB评估的几个指标

二. VOT数据集

1) 准确率 Accuracy
在单个测试序列下的平均重叠率(即AOR),只考虑有效帧,即跟踪成功的帧。

2) 鲁棒性 Robustness
在单个测试序列下的跟踪失败的次数。重叠率为0即为跟踪失败。跟丢后序列中止,5帧后重启。

3) 等效滤波操作 Equivalent Filter Operations
用于衡量跟踪速度。为减少硬件平台和编程语言等外在因素对跟踪速度的影响,先测量在一个600*600的灰度图像上用30*30最大值滤波器进行滤波的时间,作为基准单位,再以这个基准单位衡量跟踪的速度。

EFO:speed = 跟踪算法耗时/滤波时间

4) 平均重叠期望图
反映序列长度与平均准确率的关系,同时考虑准确率和鲁棒性。将所有序列按长度分类,相同长度的序列测得的准确率取平均。以长度为横坐标,平均准确率为纵坐标绘图。

EAO(平均重叠期望 Expected Average Overlap):不同长度序列求得的准确率平均值再取平均
————————————————
VOT数据集介绍原文链接:https://blog.csdn.net/Tang_Zhe/article/details/121827534

VOT与OTB区别:

  • VOT没有灰度数据
  • VOT标注更精细
  • VOT分辨率普遍更高
  • VOT从第一帧开始;OTB从随机帧开始,且矩形框初始化时加随机干扰
  • VOT强调检测、跟踪不分离;OTB强调初始化的鲁棒性(从时间和空间上扰乱真实目标位置的初始状态)
  • 评价指标不同

三、总结

VOT普遍质量较高,如果只能选一个数据集,建议VOT。

如果选OTB,不同算法间比较AUC、SPEED(fps)

如果选VOT,不同算法间比较EAO、A、R、EFO

网站文章

  • shell 编程 脚本 命令

    如果我们经常要登录linux系统,可以使用SCRT,xshell工具去管理,这些工具都要收费,我们可以自己写个脚本,方便登录.比如有一批服务器,IP为:192.168.3.11, 192.168.3....

    2024-02-01 00:28:37
  • mysql下查询group by报错解决

    mysql下查询group by报错解决

    今天遇到了mysql的group byde的问题,终于解决,在此记录下来。 解决办法(亲测): 1、SELECT @@global.sql_mode;查询mysql数据库中存不存在ONLY_FULL_...

    2024-02-01 00:28:29
  • 学计算机的桌面,三个软件,干净你的电脑桌面,让你更高效工作学习!

    学计算机的桌面,三个软件,干净你的电脑桌面,让你更高效工作学习!

    文 | 谦行公子 首发 | 谦行公子今天向大家推荐三个软件,为了就是让大家都拥有一个干净整洁的桌面,从此高效地学习生活~至于哪三个,接着看相信很多人都有这样的经历,连续工作好几天甚至好几周,桌面上堆...

    2024-02-01 00:28:21
  • 剑指Offer(二十八):数组中出现次数超过一半的数字

    剑指Offer(二十八):数组中出现次数超过一半的数字搜索微信公众号:'AI-ming3526'或者'计算机视觉这件小事' 获取更多算法、机器学习干货csdn:https://blog.csdn.net/baidu_31657889/github:https://github.com/aimi-cn/AILearners一、引子这个系列是我在牛客网上刷《剑指Offer》的刷...

    2024-02-01 00:27:53
  • Windows下运行python脚本报错“ImportError: No Module named ...”的解决方法

    Windows下运行python脚本报错“ImportError: No Module named ...”的解决方法

    之前遇到一个问题,在Pycharm或IPython之类的IDE上运行脚本正常,但是直接运行或cmd命令行运行的时候报了模块未能找到的误——ImportError: No Module named ...。 这是啥情况?Python在启动解释器(Interpreter)的时候不光会导入环境变量中sys.path发现的模块,还会导入当前工作目录下的模块。当你在IDE中启动解释器时,

    2024-02-01 00:27:46
  • 搞定动态规划----一篇足矣

    搞定动态规划----一篇足矣

    搞定动态规划,一篇真的足矣!!!

    2024-02-01 00:27:38
  • python变量类型

    python变量类型转载于:https://www.cnblogs.com/zhangxiangning/p/10846592.html

    2024-02-01 00:27:09
  • Linux的RPM和Yum使用

    Linux的RPM和Yum使用

    Linux的RPM和Yumyum

    2024-02-01 00:27:02
  • apt-get简介

    在Ubuntu系统中,经常要用到apt-get install指令来安装软件,由于常常需要root权限来操作,所以搭配sudo食用口感更佳,apt-get指令对于安装、卸载、升级软件提供一条龙服务,对比于源码安装,实在是业界良心。

    2024-02-01 00:26:55
  • Java java.io.IOException: Invalid keystore format问题解决

    Java java.io.IOException: Invalid keystore format问题解决

    问题描述:Caused by: java.io.IOException: Invalid keystore format问题分析:1、使用KeyStore.load()方法merlion.jks文件不...

    2024-02-01 00:26:47