卡尔曼滤波目标跟踪

定位跟踪时，可以通过某种定位技术得到一个位置估计（观测位置），也可以根据经验由上一时刻的位置和速度来预测当前位置。把这个观测结果和预测结果做一个加权平均作为定位结果，权值的大小取决于观测位置和预测位置的不确定性程度

使用卡尔曼滤波来估计每个时刻目标状态的过程为：

对视频进行运动目标检测，通过简单的匹配方法来给出目标的第一个和第二个状态，从第三个状态开始，先使用卡尔曼滤波器预测出当前状态，再用当前帧图像的检测结果作为观测值输入给卡尔曼滤波其，得到的校正结果就被认为是目标在当前帧的真实状态


目标跟踪常用的数据集合 OTB50 OTB100 以及VOT竞赛数据库（t.cn/RYhZqT2）

http://t.cn/RYhz9Sd）

相关资源 Opencv API （http://t.cn/RYhzun2）

benchmark_results http://t.cn/RV08A2h）：大量顶级方法在OTB库上的性能对比，各种论文代码应有尽有


目标跟踪，常用的是一种生成模型方法和判别模型方法

生成类方法：在当前帧对目标区域建模，下一帧寻找与模型相似的区域就是预测位置， 典型算法 ASMS t.cn/RYhZoH3

判别类方法：图像特征+机器学习，当前帧以目标为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域，相关滤波

深度学习类方法：参考Winsty的几篇 Naiyan Wang - Home（t.cn/RYhZRKc），还有VOT2015的冠军MDNet Learning Multi-Domain Convolutional Neural Networks for Visual Tracking（t.cn/Rq626Dk），以及VOT2016的冠军TCNN （t.cn/RYhww93），速度方面比较突出的如80FPS的SiamFC SiameseFC tracker（t.cn/RcaRnrN）和100FPS的GOTURN davheld/GOTURN（t.cn/RYhwRRP），注意都是在GPU上。基于ResNet的SiamFC-R(ResNet)在VOT2016表现不错，很看好后续发展，有兴趣也可以去VALSE听作者自己讲解 http://t.cn/RYhwskg），至于GOTURN，效果比较差，但优势是跑的很快100FPS，如果以后效果也能上来就好了。

  • Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking [C]// CVPR, 2016.
  • Nam H, Baek M, Han B. Modeling and propagating cnns in a tree structure for visual tracking. arXiv preprint arXiv:1608.07242, 2016.
  • Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking [C]// ECCV, 2016.
  • Held D, Thrun S, Savarese S. Learning to track at 100 fps with deep regression networks [C]// ECCV, 2016

相关滤波：

  • Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters [C]// CVPR, 2010.
  • Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulant structure of tracking-by- detection with kernels [C]// ECCV, 2012.
  • Henriques J F, Rui C, Martins P, et al. High-Speed Tracking with Kernelized Correlation Filters [J]. IEEE TPAMI, 2015.
  • Danelljan M, Shahbaz Khan F, Felsberg M, et al. Adaptive color attributes for real-time visual tracking [C]// CVPR, 2014.

CSK和KCF

t.cn/RYh2iJd

Wang N, Shi J, Yeung D Y, et al. Understanding and diagnosing visual tracking systems[C]// ICCV, 2015.

SAMF （t.cn/RYhLGfe），浙大Yang Li的工作，基于KCF，特征是HOG+CN，多尺度方法是平移滤波器在多尺度缩放的图像块上进行目标检测，取响应最大的那个平移位置及所在尺度：Li Y, Zhu J. A scale adaptive kernel correlation filter tracker with feature integration [C]// ECCV, 2014.

Martin Danelljan的DSST（t.cn/RYhLa1k），只用了HOG特征，DCF用于平移位置检测，又专门训练类似MOSSE的相关滤波器检测尺度变化，开创了平移滤波+尺度滤波，之后转TPAMI做了一系列加速的版本fDSST推荐：

  • Danelljan M, Häger G, Khan F, et al. Accurate scale estimation for robust visual tracking [C]// BMVC, 2014.
  • Danelljan M, Hager G, Khan F S, et al. Discriminative Scale Space Tracking [J]. IEEE TPAMI, 2017

边界效应：相关滤波对于快速运动目标和快速变形跟踪效果不好

Martin Danelljan的SRDCF（t.cn/RYARQV2），主要思路：既然边界效应发生在边界附近，那就忽略所有移位样本的边界部分像素，或者说限制让边界附近滤波器系数接近0：

  • Danelljan M, Hager G, Shahbaz Khan F, et al. Learning spatially regularized correlation filters for visual tracking [C]// ICCV. 2015.

Hamed Kiani提出的MOSSE改进算法，基于灰度特征的CFLM （t.cn/RYARkoT）和基于HOG特征的BACF http://t.cn/RYAEtoA），主要思路是采用较大尺寸检测图像块和较小尺寸滤波器来提高真实样本的比例，或者说滤波器填充0以保持和检测图像一样大，同样没有闭合解，采用ADMM迭代优化

  • Kiani Galoogahi H, Sim T, Lucey S. Correlation filters with limited boundaries [C]// CVPR, 2015.
  • Kiani Galoogahi H, Fagg A, Lucey S. Learning Background-Aware Correlation Filters for Visual Tracking [C]// ICCV, 2017.

VOT2016 Challenge | http://t.cn/RYAnito） Staple算法

颜色特征

统计颜色特征方法DAT（t.cn/RYAmf2t），帧率15FPS推荐：

  • Possegger H, Mauthner T, Bischof H. In defense of color-based model-free tracking [C]// CVPR, 2015.

Staple（t.cn/RqCn14C），那就是把模板特征方法DSST(基于DCF)和统计特征方法DAT结合：

  • Bertinetto L, Valmadre J, Golodetz S, et al. Staple: Complementary Learners for Real-Time Tracking [C]// CVPR, 2016.

另一种相关滤波结合颜色概率的方法是17CVPR的CSR-DCF，提出了空域可靠性和通道可靠性，没有深度特征性能直逼C-COT，速度可观13FPS：

  • Lukežič A, Vojíř T, Čehovin L, et al. Discriminative Correlation Filter with Channel and Spatial Reliability [C]// CVPR, 2017

Long-term

给普通tracker配一个detecter，在发现跟踪出错的时候调用自带detecter重新检测并矫正tracker

Chao Ma的LCT （t.cn/RYAuTaH）

  • Ma C, Yang X, Zhang C, et al. Long-term correlation tracking[C]// CVPR, 2015.

跟踪置信度

LMCF(MM Wang的目标跟踪专栏：t.cn/R6cyDCu )提出了多峰检测和高置信度更新：

  • Wang M, Liu Y, Huang Z. Large Margin Object Tracking with Circulant Feature Maps [C]// CVPR, 2017.

卷积特征

Martin Danelljan结合深度特征的相关滤波方法，代码（t.cn/RYA3Smo）

  • Danelljan M, Shahbaz Khan F, Felsberg M, et al. Adaptive color attributes for real-time visual tracking [C]// CVPR, 2014.
  • Danelljan M, Hager G, Khan F S, et al. Discriminative Scale Space Tracking [J]. IEEE TPAMI, 2017
  • Danelljan M, Hager G, Shahbaz Khan F, et al. Adaptive decontamination of the training set: A unified formulation for discriminative visual tracking [C]// CVPR, 2016.
  • Danelljan M, Hager G, Shahbaz Khan F, et al. Convolutional features for correlation filter based visual tracking [C]// ICCVW, 2015.
  • Ma C, Huang J B, Yang X, et al. Hierarchical convolutional features for visual tracking [C]// ICCV, 2015.
  • Danelljan M, Robinson A, Khan F S, et al. Beyond correlation filters: Learning continuous convolution operators for visual tracking [C]// ECCV, 2016.
  • Danelljan M, Bhat G, Khan F S, et al. ECO: Efficient Convolution Operators for Tracking [C]// CVPR, 201

Luca Bertinetto的CFNet （t.cn/RXE9i5P），除了上面介绍的相关滤波结合深度特征，相关滤波也可以end-to-end方式在CNN中训练了：

  • Valmadre J, Bertinetto L, Henriques J F, et al. End-to-end representation learning for Correlation Filter based tracking [C]// CVPR, 2017.

牛津大学：Joao F. Henriques和Luca Bertinetto，代表：CSK, KCF/DCF, Staple, CFNet (其他SiamFC, Learnet).

林雪平大学：Martin Danelljan，代表：CN, DSST, SRDCF, DeepSRDCF, SRDCFdecon, C-COT, ECO.

编辑于 2017-12-29 22:52
目标