渭南做网站,中国制造网建站,网站建设店淘宝,漳州北京网站建设公司由于对视频单目标跟踪并不是很熟悉#xff0c;所以首先得对该领域有个大致的了解。 视频目标跟踪是计算机视觉领域重要的基础性研究问题之一#xff0c;是指在视频序列第一帧指定目标 后#xff0c;在后续帧持续跟踪目标#xff0c;即利用边界框#xff08;通常用矩形框表… 由于对视频单目标跟踪并不是很熟悉所以首先得对该领域有个大致的了解。 视频目标跟踪是计算机视觉领域重要的基础性研究问题之一是指在视频序列第一帧指定目标 后在后续帧持续跟踪目标即利用边界框通常用矩形框表示标定目标实现目标的定位与尺度估计目标跟踪问题通常分为单目标跟踪和多目标跟踪这里主要关注单目标跟踪问题。视觉跟踪技术是计算机视觉领域人工智能分支的一个重要课题有着重要的研究意义且在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景。 单目标跟踪任务给定初始目标的位置和尺寸要求跟踪器持续地对目标进行定位。不同于多目标跟踪单目标跟踪要求可以处理任意的物体而多目标跟踪通常是固定类别的物体如行人、车辆等。单目标跟踪算法的这种“物体不定性”一方面待跟踪物体包罗万象各种奇奇怪怪的物体为该任务带来诸多挑战另一方面不限制目标类别又为跟踪任务的建模和训练带来无限可能。 视频目标跟踪中的挑战 对于视频目标跟踪问题主要面临的挑战表现在视频目标前背景在跟踪过程中发生的复杂变化。这些变化包括目标消失、目标形变、 背景干扰以及目标移动等情形。上述情况往往导致 视频序列中跟踪目标所依赖的特征如外观、形状 或背景等信息随时间变化存在较大的不一致性 使得跟踪器在后续视频帧中无法准确识别和跟踪目标。 (1) 目标消失目标消失是视频目标跟踪中最 具挑战性的问题之一主要包括在某段时间内目标 或部分目标被其他物体遮挡或移出相机视野范 围当目标重新出现时如何继续跟踪目标如图a。影响此类问题的因素主要包括遮挡范围 和遮挡时间若目标全部被遮挡或长时间被遮挡 往往会造成跟踪器无法有效更新从而跟踪失败。
(2) 目标变化目标变化是视频目标跟踪中最 常见的问题之一主要包括目标形变目标旋转等 情形。通常来说非刚性物体在跟踪过程中都会发 生不同程度的形变。左侧图b显示视频中目标运动员在执行动作过程中随时间发生了严重的形变长宽比例变化明显。目标旋转通常包含两方面内容一是平面内旋转另一类是平面外旋转。前者是指目标旋转轴垂直于目标图像所在的平面后者则表示旋转轴与图像平面不垂直的情 形图 b 右图展示了目标平面外旋转的例子。
(3) 背景干扰背景干扰也是目标跟踪问题经 常出现的问题主要表现是背景杂乱和光照变化等 情形。图 c 分别展示了目标受杂乱背景干扰和 光照严重变化的情形。如何有效地进行前背景分离从而精确地抓取前景抑制背景也是目标跟踪的根本问题。而光照变化不仅对背景造成干扰也使 得目标前景本身的外观特征发生一定程度的变化。 强烈的光照变化通常造成不同帧序列之间目标外观差异增大而同一帧之内目标前背景差异减小 从而加大跟踪的难度。
(4) 目标移动视频目标跟踪所研究的对象主体往往是运动的目标目标移动对目标跟踪造成的 困难主要包括目标快速运动和目标运动模糊等情 形。由于目标跟踪通常采取在目标前一帧所处位置 周围区域进行搜索的策略因此目标快速运动可能 造成目标与前序帧位置差异较大甚至超出搜索区域。另一方面目标移动本身造成的运动模糊也会 造成目标前景虚化从而影响目标特征表达。同样 的相机移动甚至会造成整幅图像的模糊也是影响目标跟踪效果的挑战之一。
视频目标跟踪方法
近十年来最主流的两类方法是基于相关滤波 CF (Correlation Filter) 和孪生网络 (Siamese Network) 框架的方法。相关滤波目标跟踪算法自 2010 年提出之后由于其在跟踪精度和算法速度 取得良好的平衡性迅速发展成为目标跟踪的主流 方法之一。基于孪生网络的目标跟踪算法相比 相关滤波方法出现较晚开创性工作是 2016 年出 现的 SiameseFC算法。
基于相关滤波的目标跟踪方法
相关滤波理论用于目标 跟踪问题表现良好主要得益于以下两方面原因1 CF 目标跟踪方法隐式地利用了循环平移操作对训 练样本进行扩增从而极大丰富了训练样本的多样 性使得算法的鲁棒性和精度提升2快速傅利 叶变换 FFT (Fast Fourier Transform) 使得复杂的卷 积操作在频域内加速计算计算量降低模型求解 效率增加。
相关滤波目标跟踪框架
目标跟踪算法的输入是一段连续的视频序列 以及视频第一帧指定的跟踪目标以矩形标定框 B1 的形式给出目标跟踪算法的输出是在后续 视频 t 1 中估计目标的位置以及大小同样以标 定框 Bt的形式给出。相关滤波目标跟踪算法的主 要思想是在当前帧更新相关滤波器记作 F 在下一帧利用所得的 F 通过循环卷积的操作实现 目标中心点定位。考虑相关滤波 目标跟踪算法在 t - 1 到第 t 帧的算法流程。如图 所示相关滤波视频目标跟踪算法主要包含以下 5 个步骤
步骤 1 搜索区域由于相邻两帧目标移 动范围有限利用第 t - 1 帧的跟踪结果 Bt-1通 过适当扩大Bt−1 得到目标搜索区域并在视频第 t 帧图像的上述搜索区域内进行目标定位搜索。
步骤 2特征提取用步骤 1 得到的第 t 帧 的搜索区域对该区域内的图像进行特征提取得 到特征图 H。
步骤 3 目标定位相关滤波器 F作用于 提取的特征图 H利用公式 得到响应图 C H ∗ F, 式中 * 为循环卷积计算响应图C的最大值所在 位置的坐标即可得到当前帧图像上的目标中心位 置Bt的大小可由Bt−1 进行缩放得到。
步骤 4滤波更新利用当前跟踪结果如图下半栏所示以目标为中心点截取子图像 类似步骤 2 提取特征图 H然后通过最小化公式 求解相关滤波器
这里 Y 是以空间中心点为最高值的 2-D 高斯分布图。上述优化问题可以利用快速傅里叶变换 FFT方法得到闭合解。
步骤 5交替迭代令 t t 1返回步骤 1 进行交替迭代。在视频每一帧重复上述步骤可以 逐帧得到滤波器以及每帧目标的位置及尺寸完成视频目标跟踪任务。
离散傅里叶变换
假设有离散序列x长度为N。用x^表示该离散序列的离散傅里叶变换。x^中的第m个元素可以通过下式进行计算 令 数据集
评价指标
多模态目标跟踪
基于 RGB-D 视频的目标跟踪
一些研究者开始关注 基于 RGB 图像和深度图像结合的视频目标跟踪算法。如图 所示相比于颜色信息深度信息 可以有效地帮助视频实现前景背景分离同时为目标遮挡判定提供有效的指导. 基于 RGB-T 视频的目标跟踪
红外图像和 RGB 图像对于视频目标跟踪来说可 以提供互补的信息例如 RGB 图像可以提供丰富 的目标外观颜色纹理信息但在光照变化雨雾场 景下受到较大的影响而红外图像往往不受此类情 形的影响如图 所示。与深度图像视频相似 红外图像信息往往也能帮助指导视频中目标的前 背景分离。这是因为前景目标和背景通常具有不同 的热力值. 目标跟踪交叉领域研究
视频目标分割又可以帮助跟 踪更好地完成前背景分离从而学习目标前景特征.
