大连建网站策划,宣威网站建设,株洲网站建设推广报价,安防公司网站模板计算机视觉#xff1a;轨迹预测综述 轨迹预测的定义轨迹预测的分类基于物理的方法#xff08;Physics-based#xff09;基于机器学习的方法#xff08;Classic Machine Learning-based#xff09;基于深度学习的方法#xff08;Deep Learning-based#xff09;基于强化学… 计算机视觉轨迹预测综述 轨迹预测的定义轨迹预测的分类基于物理的方法Physics-based基于机器学习的方法Classic Machine Learning-based基于深度学习的方法Deep Learning-based基于强化学习的方法Reinforcement Learning-based 数据集/评价指标 轨迹预测的定义
轨迹预测问题可以表述为在给定的一个场景下使用交通参与者的历史状态预测估计其未来状态。历史状态可以来自于车端或路端状态信息一般包括交通参与者的位置也有可能包括速度、加速度、朝向角等信息。场景信息一般包括车辆运动学或动力学、路侧信息地图、交通信号灯、交通规则等和交通参与者之间的交互信息等因素。 轨迹预测的输入是一系列具有历史时间信息的交通参与者状态。 轨迹预测的输出是一系列具有未来时间信息的交通参与者状态一般有三种形式单模态Unimodal、多模态Multimodal和意图Intention。
单模态是指一个或多个交通参与者的一个未来轨迹多模态是指一个或多个交通参与者的多个未来轨迹意图可以是最终输出的一部分也可以是一个中间过程提供了交通参与者的轨迹意图。
轨迹预测的分类
基于物理的方法Physics-based
基于物理的方法是借助于车辆的运动学模型或动力学模型使用单一轨迹预测、卡尔曼滤波或蒙特卡罗的方法对其轨迹进行预测。虽然简单高效、计算复杂度低但是其预测精度相对较低一般仅适用于短期预测不超过1s但基于学习的方法通常可以考虑融合基于物理的方法进而提升预测精度。
单一轨迹预测该方法认为车辆状态是已知且无噪声的使用匀速、匀加速度或匀角速度和加速度等模型对车辆的状态进行预测此方法虽然简单高效但未考虑路侧信息以及状态的不确定性不适合于长期轨迹预测。卡尔曼滤波该方法将车辆状态的不确定性噪声考虑在内并认为噪声呈高斯分布通过不断地迭代预测车辆状态的平均值和方差。此方法虽然考虑了状态的不确定性但简单地认为噪声呈高斯分布是不可靠的一些学者也提出了多模态轨迹预测的卡尔曼滤波、考虑交互因素的卡尔曼滤波等方法。蒙特卡罗此方法可以对交通参与者的状态分布进行模拟它对历史状态输入进行随机采样利用物理模型动力学、运动学模型对未来状态进行估计其中的历史状态可以是已知且确定的亦可以是由估计算法得到的不确定的。
基于机器学习的方法Classic Machine Learning-based
基于机器学习的方法是应用数据驱动的模型来预测轨迹例如高斯过程Gaussian Process、支持向量机Support Vector Machine、隐式马尔可夫链Hidden Markov、动态贝叶斯Dynamic Bayesian、K近邻K-Nearest Neighbors、决策树Dynamic Tree等等。此类方法利用经典机器学习的分类与回归方法对交通参与者的轨迹与意图进行学习与预测相较于基于物理的方法它可以更好地融合路侧、交互等场景信息预测精度得以提升但此方法针对复杂场景可能束手无策。
基于深度学习的方法Deep Learning-based
基于深度学习的方法一般针对历史状态的输入进行特征提取再通过回归来预测未来状态输出。例如循环神经网络Recurrent Neural NetworkRNN、卷积神经网络Convolutional Neural NetworkCNN、基于Transformer的注意力网络Attention Network based on Transformer、图神经网络Graph Neural NetworkGNN以及生成式网络Generative Adversarial NetworkGAN等。此方法已经成为研究的主流方向并达到了SOTA水平相较于基于物理、机器学习的方法基于深度学习的方法可以预测更长时间的状态。
循环神经网络它与有效处理空间信息的卷积神经网络不同循环神经网络被设计用来处理时间信息它存储每一步时间信息利用隐藏状态和历史轨迹的特征输入来预测未来轨迹的输出。当时间步数较大时循环神经网络容易发生梯度爆炸。使用门控循环神经网络Gated RNN可以解决此问题例如长短期记忆网络Long Short Term Memory NetworkLSTM和门控循环单元Gated Recurrent UnitGRU。卷积神经网络由于轨迹具有很强的时空连续性部分学者认为使用CNN预测会更好。它们采用序列到序列的结构以历史轨迹为输入在全连接层之后叠加卷积层实现时间连续性再通过全连接层输出未来轨迹。实验表明基于CNN的模型运行速度更快。卷积循环神经网络卷积神经网络适用于提取空间信息循环神经网络适用于处理时间信息一些学者将两者联合在一起进行建模。注意力网络随着Transformer在计算机视觉和自然语言处理的爆火一些学者也将Transformer的编码器与解码器应用到轨迹预测中首先历史状态作为编码器的输入object query作为未来状态与历史状态的编码输出交互得到最终的预测轨迹。实验证明此方法在长时序的预测任务中表现良好不仅方便轨迹序列的建模也方便对环境和交通参与者之间的交互进行建模。图神经网络每一个交通参与者被认为图中的一个节点node每一个节点通过边edge与其他节点相关联。因此图神经网络方便对交互信息进行建模典型的方法主要有图卷积网络和图注意力网络。生成式网络为了解释轨迹预测的多模态属性与不确定性一些学者提出使用生成式网络来预测轨迹包括生成对抗网络Generative Adversarial NetworkGAN和条件变分自动编码器Conditional Variational Auto EncoderCVAE。
基于强化学习的方法Reinforcement Learning-based
传统的强化学习是基于马尔可夫决策过程Markov decision processMDP利用与环境交互和人为设计的奖励函数以最大化奖励为准则来得到最优的行为基于强化学习的轨迹预测方法包括逆向强化学习Inverse Reinforcement LearningIRL、生成对抗模仿学习Generative Adversarial Imitation LearningGAIL和深度逆向强化学习Deep Inverse Reinforcement LearningDIRL等等。
逆向强化学习此方法是指奖励函数并非人为设计而是根据专家演示学习一个奖励函数得到最优的行为进而对轨迹进行预测逆向强化学习主要有基于最大化裕度和最大化熵两种优化方法来更新学习奖励函数的权重。最大化裕度的方法是通过最小化专家演示和预测轨迹之间的特征期望来更新奖励函数的权重然而大多数基于裕度的方法在特征期望匹配方面是模糊的。而最大化熵的方法使用多个奖励函数来解释专家演示的模糊性。生成对抗模仿学习此方法使用生成式网络GAN进行模仿学习它利用GAN生成轨迹使之与专家演示尽可能相近再利用鉴别器判断是否此轨迹是一个专家演示。深度逆向强化学习由于预测任务是非线性的不同于逆向强化学习深度逆向强化学习利用全卷积神经网络学习一个复杂的非线性奖励函数。目前大多数DIRL算法可以直接利用原始传感器数据图像、点云等进行建模。
数据集/评价指标
关于轨迹预测数据集包括但不限于NuScenes、Waymo、Lyft Level 5、Argoverse、INTERACTION、HighD、Apolloscape、KITTI、NGSIM等。 评价指标均方根误差Root Mean Squared ErrorRMSE、负对数似然Negative Log LikelihoodNLL、平均位移误差Average Displacement ErrorADE、最终位移误差Final Displacement ErrorFDE、错失率Miss RateMR、计算时间Computation Time、预测视野Prediction Horizon等。
