门户网站 架构,宁波学校网站建设,网站文章页做百度小程序,前端培训机构推荐摘要 准确的单目度量深度估计#xff08;MMDE#xff09;是解决三维感知和建模中下游任务的关键。然而#xff0c;最近的MMDE方法的显著准确性仅限于其训练领域。这些方法存在适度的域间隙#xff0c;也不能推广到看不见的域#xff0c;这阻碍了它们的实际适用性。本文提出… 摘要 准确的单目度量深度估计MMDE是解决三维感知和建模中下游任务的关键。然而最近的MMDE方法的显著准确性仅限于其训练领域。这些方法存在适度的域间隙也不能推广到看不见的域这阻碍了它们的实际适用性。本文提出一个新的模型UniDepth能够从跨域的单个图像中重建度量3D场景。与现有的MMDE方法不同UniDepth在推理时直接预测输入图像的度量三维点无需任何附加信息争取一个通用而灵活的MMDE解决方案。特别是UniDepth实现了一个自提示的相机模块self-promptable camera module预测密集的相机表示来训练深度特征。该模型利用了伪球形输出表示 pseudo-spherical output representation分离了相机和深度表示。此外本文提出了一个几何不变性损失geometic invariance loss以促进相机提示的深度特征的不变性。在零样本状态下对10个数据集的彻底评估一致地证明了单深度的优越性能即使与直接在测试领域上训练的方法相比。 介绍 精确的像素级深度估计对于理解几何场景结构至关重要它在三维建模[10]、机器人[11,63]和自动驾驶汽车[38,51]中的应用。然而提供可靠的度量尺度深度输出对于有效地执行三维重建是必要的从而激发了单眼度量深度估计MMDE的具有挑战性和固有的倾斜任务。
虽然现有的MMDE方法[3,14,16,40,41,43,61]在不同的基准测试中显示出了显著的准确性但它们需要在具有相似的相机内参和场景尺度的数据集上进行训练和测试。此外训练数据集的大小通常有限场景和摄像机的多样性也很少。这些导致模型很难泛化到真实世界场景。
只有少数方法[21,59]解决了可泛化MMDE的挑战性任务。然而这些方法假设在测试时有受控的设置包括相机内参。虽然这种假设简化了任务但它有两个显著的缺点。首先它具有局限的应用范围如在野外的视频处理和大众图像分析。其次将固有的摄像机参数噪声直接注入模型中导致在高噪声情况下产生较大的误差。
在这项工作中作者解决了更苛刻的通用MMDE任务而不依赖任何额外的外部信息如相机参数从而定义了通用的MMDE任务。我们的方法名为UniDepth是第一个尝试解决这个不受场景组成和设置限制的具有挑战性的任务的方法并通过其通用性和适应性来区分自己。与现有的方法不同UniDepth仅从单个图像为任何场景提供度量的3D预测而无需提供关于场景或相机的额外信息。此外Unidepth灵活地允许在测试时合并额外的相机信息。
我们的设计引入了一个相机模块它输出一个非参数的即密集的相机表示dense camera representation作为对深度模块的提示。然而仅仅依赖于这个单一的额外模块显然会导致与训练稳定性和规模模糊性scale ambiguity相关的挑战。作者提出了一种有效的输出空间的伪球面表示pseudo-spherical representation来解开该空间相机和的深度维度。这种表示对相机使用了方位角和仰角组件深度使用了径向组件在相机平面和深度轴之间形成一个完美的正交空间。此外摄像机组件嵌入通过拉普拉斯球谐波编码。图1描述了我们的相机自提示机制和输出空间。此外我们引入了一个几何不变性损失来增强深度估计的鲁棒性。其潜在的想法是来自同一图像的两个视图的相机条件下的深度特征应该表现出相互的一致性。特别地我们采样了两个几何增强为每个训练图像创建一对不同的视图从而模拟原始场景的不同的外观摄像机。
我们的总体贡献是第一个通用的MMDE方法UniDepth它预测了每个像素的度量三维空间中的一个点除了一个图像之外没有任何输入。特别地首先我们设计了一个可提示的相机模块这是一个架构组件它可以学习密集的相机表示并允许非参数的相机条件反射。其次我们提出了一个输出空间的伪球面表示从而解决了相机和深度预测的交织本质。.此外我们引入了一个几何不变性损失来分离相机信息从场景的底层三维几何。此外我们在一个公平和可比较的零镜头设置的10个不同的数据集上广泛地测试和重新评估了7种MMDE最先进状态SotA方法为广义MMDE任务奠定了基础。由于其设计与非零射击方法相比统一深度始终创造了新的技术状态在竞争激烈的官方KITTI深度预测基准中排名第一。 相关工作 度量和尺度无关的深度估计。区分单目度量深度估计MMDE与尺度不可知的即大尺度的单目深度估计是至关重要的。MMDE SotA方法通常将训练和测试限制在同一领域。然而出现了挑战比如对训练场景的过拟合导致在存在微小的领域差距时性能显著下降这在NYUDepthv2 [35]NYU和KITTI [18]等基准测试中经常被忽视。另一方面与尺度无关的深度方法包括MiDaS [42]通过在广泛的数据集上进行训练显示出鲁棒的泛化。它们的局限性在于缺乏度量输出阻碍了在下游应用程序中的实际使用。
单目度量深度估计。由[14]率先在MMDE中引入了端到端可训练神经网络标志着一个重要的里程碑也通过尺度不变log损失SIlog引入了优化过程。随后的发展见证了先进网络的出现从基于卷积的体系结构[16,27,31,40]到基于变压器的方法[3,41,57,61]。尽管在已建立的基准测试上取得了令人印象深刻的成就但MMDE模型在零射击场景中面临着挑战这揭示了对外观和几何形状上的领域变化进行鲁棒泛化的需要。
一般的单目度量深度估计。最近的工作集中在开发MMDE模型[4,21,59]用于跨不同领域的一般深度预测。这些模型通常利用相机感知要么通过直接将外部相机参数合并到计算[15,21]中要么通过基于内在属性规范化形状或输出深度如[1,28,59]所示。
然而这些可泛化的MMDE方法通常采用特定的策略来提高性能例如几何预训练[4]或特定于数据集的先验如重塑[59]。此外这些方法假设在训练和测试时间都可以获得无噪声摄像机的内部信息这也限制了它们对针孔摄像机模型的适用性。此外SotA方法依赖于一个预定义的反向投影操作模糊了学习深度和三维场景之间的区别。相比之下我们的方法旨在克服这些限制提出一个更苛刻的视角例如通用MMDE。通用MMDE涉及从输入图像直接预测3D场景没有除了后者之外的任何附加信息。值得注意的是我们在测试时不需要任何额外的先验信息比如访问相机信息。
UniDepth MMDE SotA方法通常假设可以访问相机的内部信息从而模糊了纯深度估计和实际三维估计之间的界限。相比之下UniDepth的目标是创建一个可在不同场景中部署的通用MMDE模型而不依赖于任何其他外部信息如相机固有的信息从而通过设计进行三维空间估计。然而试图在没有适当内部表示的情况下直接从单个图像预测三维点忽略了几何先验知识即透视几何重新学习数据透视投影定律加重了学习过程的负担。 3.1引入了输出空间的伪球面表示以内在的地将相机光线的角度与深度分离。另外本文的初步研究表明该深度预测显然受益于采集传感器的先验信息因此在2.3中引入了自提示相机操作。在内部深度特征水平上的进一步解纠缠是通过几何不变性损失来实现的在3.3中概述。这种损失确保了深度特征在引导相机预测条件下保持不变促进了稳健的相机感知深度预测。总体架构和由设计选择的组合引起的结果优化在3.4.中详细介绍。
3D表示 本文的MMDE模型的目的是推断深度和相机内参以仅基于图像进行三维预测。作者设计了一个三维输出空间将两个子任务自然地分离开即深度估计和相机校准calibration。特别地作者利用伪球形表示其中基由方位角、航向角和log深度表示即θfaizlog而不是笛卡尔表示x,y,z。所提出的伪球表示的优势在于相机θϕ和深度zlog分量的解耦通过设计确保了它们的正交性而不是笛卡尔表示中的纠缠。 自提示相机模块 摄像机模块在最终的三维预测中起着至关重要的作用因为它的角度密集输出占了输出空间的两个维度即方位角和仰角。最重要的是这些嵌入会提示深度模块以确保对输入场景的全局深度尺度的引导先验知识。提示是避免场景尺度中的模式崩溃的基础并减轻了深度模块从头开始预测深度的负担因为尺度已经被摄像机输出建模。
几何一致性损失 当深度模块以特定摄像机为条件时不同摄像机捕捉到的同一场景的空间位置应该相对应。为此我们提出了一个几何不变性损失来加强来自不同采集传感器的同一场景的摄像机提示深度特征的一致性。特别是从相同的3D位置提取的特征必须具有一致性。
结构设计
———————————————— 版权声明本文为博主原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。 原文链接https://blog.csdn.net/weixin_43985824/article/details/139518351
