全面解析视觉目标跟踪：基本流程、挑战、方法及最新进展，附框架介绍

视觉目标跟踪是计算机视觉的重要研究方向，具有广泛的应用，例如：视频监视，人类计算机互动，无人驾驶驾驶等。在过去的两到30年的视觉目标跟踪技术中，它取得了长足的进步，尤其是在过去两年中，深度学习的目标跟踪方法取得了令人满意的结果，目标跟踪技术已取得了突破性的进步。本文旨在简要介绍：目标跟踪的基本过程和框架，目标跟踪的挑战，与目标跟踪相关方法以及目标跟踪的最新进展。我希望通过这篇文章知道。

1。视觉目标跟踪的基本过程和框架

下面的任务（单个目标）跟踪任务是在给出视频序列的初始帧的目标大小和位置时预测目标在随后帧中的大小和位置。这个基本任务过程可以根据以下框架进行分配：

输入初始化的目标框，在下一个帧中生成许多候选框，提取这些候选者的功能，然后在这些念珠菌分数的这些分数中找到最多的分数。候选框是一个预测的目标，或者通过集成多个预测值来获得更具预测性的目标。

根据上述框架，我们可以将目标跟踪分为五个主要研究内容。（1）运动模型：如何生产许多候选样本。（2）特征提取：用于指示目标的哪些功能。（3）观察模型：如何为许多候选样本得分。（4）模型更新：如何更新观察模型以适应目标的更改。（5）集成方法：如何集成多个决策以获得更好的决策结果。下面简要介绍了五个研究内容。

运动模型：生成候选样品的速度和质量直接确定跟踪系统的优缺点。有两种常用的方法：粒子过滤和滑动窗口。重力过滤是贝叶斯推断方法的序言，通过递归推断目标的隐式状态。滑动窗口是一种糟糕的搜索方法，它列出了目标附近的所有可能样本作为候选样本。

特征提取器：识别功能是目标跟踪的关键之一。常见功能分为两种类型：手工艺特征和深度功能。常见的手工设计的特征是灰色特征（灰色），方向梯度直方图（HOG），har-lek和比例不变特征（SIFT）。与人工设计的特征不同，深度特征是大量训练样本的特征。它比手动设计的特征更为区别。因此，通常很容易获得深度特征的后续方法。

观察模型：大多数跟踪方法主要集中在此设计上。根据不同的思想，观察模型可以分为两类：生成模型和歧视模型（歧视模型）。生成模型通常寻找与目标模板作为跟踪结果的最相似候选者。匹配模板。常见的理论方法包括：子空间，稀疏表示，词典学习等。通过训练分类器将判别模型分为目标和背景，并且具有最高置信度的候选样本是预测结果。判断方法已成为目标跟踪中的主流方法，因为有大量的机器学习方法。常见的理论方法包括：逻辑回归，山脊返回，支持向量机，多示例学习，相关过滤等。

模型更新：模型更新主要是为了更新观察模型，以适应目标的变化并防止跟踪过程的漂移。模型更新没有统一的标准。通常认为，目标的外观正在不断变化，因此该模型通常会更新每个帧。但是，有些人认为目标过去的目标很重要。连续更新可能会失去过去的表观遗传信息，并引入过度的噪音。因此，长期和短期更新的组合以解决此问题。

集合方法：集成方法有利于提高模型的预测准确性，并且通常被视为提高跟踪准确性的有效手段。它可以分为两种类型的集成方法：选择多个预测结果中最好的之一，也可以使用所有预测来平均。

2。视觉目标跟踪面临的挑战

视觉运动目标跟踪是一项非常具有挑战性的任务，因为对于运动目标，运动的场景非常复杂，并且经常变化，否则目标本身将继续改变。因此，如何在复杂方案中识别和跟踪不断变化的目标已成为一项艰巨的任务。如下图所示，我们在目标跟踪中列出了几个主要挑战：

闭塞是目标跟踪中最常见的挑战之一，障碍物分为部分clusion和全部阻塞。通常有两个想法可以解决封面的一部分：（1）使用检测机制来确定目标是否被阻塞以确定是否更新了模板以确保封面上模板的鲁棒性。（2）将目标划分为多个块，并使用未开动的块进行有效跟踪。对于完全阻止目标的情况，没有有效的方法可以完全解决。

变形也是目标跟踪中的主要问题。目标的连续变化通常会导致漂移（漂移）。解决漂移问题的常见方法是更新目标的客观模型并使其适应外观的变化，然后模型更新方法已成为关键。何时更新，更新的频率是需要遵循模型更新的问题。

背景混乱是指在目标周围非常相似的目标，该目标被跟踪以干扰跟踪。解决此类问题的常见手段是使用目标的运动信息来预测运动的一般轨迹，以防止跟踪器跟踪其他目标，或者使用目标周围的大量示例框来更新分类器以改进。分类器改善分类器的能力识别背景和目标。

尺度变化是目标从远处，靠近或附近或附近或附近的远处变化的现象。预测目标框的大小也是目标跟踪中的挑战。如何快速准确地预测目标的比例变化系数直接影响跟踪的准确性。通常的方法是：当运动模型生成候选样本时，生成大量不同尺寸的候选框，或在多个不同规模的目标上跟踪目标以生成多个预测结果，请选择其中最好的一个作为最后一个最后一个。作为最后一次预测目标。

当然，除了上述共同的挑战外，还有其他一些具有挑战性的因素：照明，低分辨率，运动模糊，快速运动，超越视觉（视觉，旋转等）。所有这些挑战因素都共同确定目标跟踪是一项非常复杂的任务。

3。视觉目标跟踪方法

视觉目标跟踪方法可以分为遗传方法，根据观察模型是生成模型或判断模型的歧视方法。过去几年中，最热的一代跟踪方法可能是稀疏的代码。最近，判断跟踪方法逐渐占据了主流位置。公式方法也取得了令人满意的结果。下面我们简要总结了这些方法的一般思想和一些特定的跟踪方法。

稀疏表示：给定一组过度拼写字典，使用输入信号使用这组完整的字典线性性来对线性表示系数（即0）对稀疏约束，则此过程称为稀疏表示。基于稀疏的目标跟踪方法将跟踪问题表达为稀疏近似问题。例如，L1Tracker是一种稀疏的跟踪，认为候选样品可以由目标模板和琐碎的模板表示，并且好的候选样品应具有更薄的系数载体。可以通过解决L1正则化最小次级优化的问题来获得稀疏性。最后，将带有目标模板的最小重建误差的候选样本用作跟踪结果。 L1Tracker使用琐碎的模板来处理它，并使用稀疏系数的非阴性约束来解决背景杂物斑点的问题。根据L1Tracker，有很多改进。代表性的是ALSA，L1APG等。

相关过滤过滤器：相关过滤起源于信号处理场。相关性用于表示两个信号之间的相似程度，并且通常通过卷积使用。因此，基于相关过滤的跟踪方法的基本思想是找到一个过滤模板，以使下一个帧的图像使用我们的滤波器模板进行卷积操作。对最大反应的反应的地区是预测目标。基于这个想法，已经提出了大量相关的过滤方法，例如最早的正方形误差最小输出和（MOSSE）使用最简单的相关滤波器思想的跟踪方法。随后，基于MOSSE的许多相关改进，例如内核方法的CSK和KCF的引入，尤其是使用循环矩阵计算的KCF，跟踪速度是惊人的。根据KCF，已经开发了一系列方法来应对各种挑战。例如：DSST可以处理比例更改，并且可以处理基于零件的相关过滤方法。但是，所有基于相关滤波的上述方法都受边界效应的影响。为了克服这个问题，SRDCF出现了，SRDCF使用空间定期惩罚相关的过滤系数，以获取深度学习跟踪方法的结果。

深度学习（基于CNN）：由于深度特征对目标具有强大的解释能力，因此深度学习在其他计算机视觉领域，例如检测和面部识别表现出巨大的潜力。但是，两年前，深度学习在目标跟踪领域的应用并不顺利，因为目标跟踪任务的特殊性，只能使用初始框架的图片数据，因此它缺少很多数据神经网络学习。只有研究人员迁移了对分类图像数据集训练的卷积神经网络到目标跟踪，并且基于深度学习的目标跟踪方法才能充分开发。例如：CNN-SVM使用在成像网分类数据集中训练的卷积神经网络提取目标的特征，然后使用传统的SVM方法进行跟踪。与CNN-SVM提取的最后一层的深度特征不同，FCN使用了目标的两个卷积层的特征。 SVM效应有所提高。随后，HCF，HDT和其他方法完全使用了卷积神经网络层的卷积特征。这些方法基于相关过滤进一步改善了跟踪效果，并结合了多层卷积特征。但是，跟踪任务始终与分类任务不同。分类任务关心类别之间的差异，而忽略类别的差异。目标跟踪任务关心区分特定目标和背景并抑制类似目标。这两个任务之间存在基本差异，因此分类数据集上的预训练网络可能无法完全应用于目标跟踪任务。结果，NAM设计了经过跟踪视频序列专门培训的多域（多域）卷积神经网络（MDNET）。结果，它赢得了vot2015比赛的第一名。但是，MDNET有点怀疑对标准组的过度拟合，因此禁止在标准跟踪数据集中进行培训。 2016年，SRDCF的作者继续努力，还使用了卷积神经网络提取目标功能，然后提出了C-COT跟踪方法与相关过滤相结合以赢得Dot2016冠军。

4。视觉目标跟踪的最新进展

近年来，目标跟踪已经迅速发展，基于相关过滤（相关滤波器）和卷积神经网络（CNN）的跟踪方法占据了大部分目标跟踪。如下图所示，一些跟踪方法已排名2014-2017。