做漆包线的招聘网站,wordpress 打卡,江阴市住房和城乡建设局网站,网站建设 陕icp前言
学习笔记#xff0c;仅供学习#xff0c;不做商用#xff0c;如有侵权#xff0c;联系我删除即可
一、目标
1.理解图像特征点的意义#xff0c;并掌握在单幅图像中提取特征点及多幅图像中匹配特征点的方法。 2.理解对极几何的原理#xff0c;利用对极几何的约束仅供学习不做商用如有侵权联系我删除即可
一、目标
1.理解图像特征点的意义并掌握在单幅图像中提取特征点及多幅图像中匹配特征点的方法。 2.理解对极几何的原理利用对极几何的约束恢复图像之间的摄像机的三维运动。 3.理解PNP问题以及利用已知三维结构与图像的对应关系求解摄像机的三维运动。 4.理解ICP问题以及利用点云的匹配关系求解摄像机的三维运动。 5.理解如何通过三角化获得二维图像上对应点的三维结构。
二、特征点法
视觉里程Visual Odometry计算前后两帧位姿的变化量
VO主要有两个大类特征点法和直接法。
特征点法最大的一个案例就是ORB-SLAM。
2.1 特征点
特征点由关键点(Key-point)和描述子(Descriptor)组成。
2.2 ORB特征
ORB(Oriented FAST and Rotated BRIEF)
关键点FAST角点 描述子BRIEF一种二进制描述子速度非常快
2.3 特征匹配
Hamming distance两个二进制串之间的比较相同为1不同为0.
暴力匹配(Brute-Force Matcher)A中的每个特征点依次和B中所有的特征点比较距离取最近的一个作为匹配点。
加速方法快速最近邻FLANN
2.4 计算相机运动 三、2D-2D对极几何
对极几何是研究两幅图像之间存在的关系的几何。它与场景结构无关只依赖于相机的内外参数可广泛用于图像匹配、三维重建方面。
3.1 对极约束 空间点P的世界坐标
像素点p1p2的像素坐标其中K内参矩阵R,t外参矩阵s1p1和p1是投影关系在齐次坐标上是相等的尺度意义下相等。
把s除过取再使用归一化坐标 基础矩阵F和内参和外参都有关和本质矩阵E 只和外参有关内参已知的情况下 3.2 本质矩阵 最后可以得到如下方程 Ax0可以用SVD方法计算出x的值。
从E中分离出R和t的方法是该方法会有4个可能的解 八点法用于初始换但有尺度不确定性而且不能用于纯旋转问题多于八个点会用最小二乘法或RANSAC算法。
3.3 单应矩阵
平面方程于是有把中间部分记作H则有H即为单应矩阵。 整理得
强制令h91可得 类似于Axb的方程可用SVD分解或者最小二乘法优化算法求解。
四、三角测量 R,t已经求解出结果只有深度未知求解深度即可
但三角测量的误差与基线长度有关 相机初始化
特征点提取 -- 特征匹配 -- 求解E或F -- 根据E或F分解出R,t -- 三角化恢复三维坐标
五、3D-2DPnP
真实点3D坐标和像素点的2D坐标已知相机可以通过标定得到内参进而计算相机位姿R,t的算法。
P3PDLTEPnPUPnP等算法PnP只是求解出一个初值后面还需要用光束平差法Bundle Adjustment, BA进行优化。
5.1 DLT直接线性变换 一个点对可以提供两个方程DLT有12个未知数所以至少6个点对就可以求解。
现在最常用的是EPnP
总结
