英语原文共 19 页，剩余内容已隐藏，支付完成后下载完整资料

基于多几何特征的摄像机外方位鲁棒线性最小二乘估计

强吉^a,*、毛罗·科斯塔^b、罗伯特·哈拉利克^b、琳达·夏皮罗^b

^a内华达州雷诺大学计算机科学系，邮编: 89557

^b美国华盛顿州西雅图大学电气工程系，邮编:98195

摘要:对于摄影测量应用，摄像机外方位问题的解可分为线性直接解和非线性解。直接解是重要的，因为它们的计算效率。现有的线性解存在缺乏稳定性和准确性的问题，部分由于大多数方法仅使用一种类型的几何形状实体及其框架不允许同时使用不同类型的功能。此外，正交性约束强制弱或根本不强制。我们提出了一个新的解析线性最小二乘框架，通过同时使用多了种类型的几何特征来确定相机外部取向。这种技术利用了点、线和椭圆-圆对之间的2d/3d对应关系。由不同的几何特征提高了最小二乘解的鲁棒性和精度。一种新的近似方法给出在线性框架内对所寻求的旋转矩阵施加正交约束的方法。实验结果表明，该方法具有较好的鲁棒性，精度高于现有的直接性的方法。2000年埃尔塞维尔科学有限公司保留所有权利。

关键词:外部定位；线性方法；最小二乘；正交性约束；特征融合

1. 介绍

摄像机外方位估计是一项用于许多摄影测量应用中必不可少的步骤。它解决了相机相对于世界坐标框架的问题，确定有关相机的参数位置和方向的外部因素问题。解决方法对于外部定向问题可分为线性方法和非线性方法。线性方法具有计算效率高的优点，但是它们缺乏准确性和鲁棒性。另一方面，非线性方法提供了更多准确、可靠的解决方案。然而，他们计算复杂，并且需要初始估计。经典的非线性摄影测量方法至外部取向（例如束调节方法）需要设置一个非线性最小正方形系统。给定外部的初始估计参数，然后将系统线性化迭代求解。而经典技术保证旋转矩阵的正交性，并提供最佳答案。然而，这需要良好的初始估计。众所周知，初始估计值必须接近，否则系统可能不接近快速或正确地收敛。因此，初始估计值的质量至关重要，因为它决定了收敛速度与迭代的正确性程序。鲁棒且精确的线性解，其通常用来为非线性过程提供初始猜测，因此，它对于摄影测量问题是很重要的。

许多分析方法被提出来去获取相机外部参数。以前的方法主要集中在使用集合上的二维-三维点对应关系变换矩阵，然后提取摄影机参数来自已解决的变换。使用点的线性方法在摄影测量中被叫做作直接线性变换（DLT）。

DLT方法的最初建议出现在阿卜杜勒阿齐兹和卡拉拉（1971年）。此后，不同种类的直接线性变换方法被引进。例如，博普和克劳斯1978年出版了一种直接线性变换方法，将添加的约束合并到解决方案中。冈本1981年从一个更一般的数学框架得出DLT的替代推导。单仲偕1996年从立体对重构物体的线性解上提出了一项临时措施，没有内部定向和较少的要求，而且在已知点上比原始DLT公式更精确。

在计算机视觉中，类DLT方法包括三点解决方案（费舍尔和波尔，1981年），四点解决方案（Hung等人，1985年；霍尔特和尼特拉，1991年），以及六点或六点以上解决方案（萨瑟兰，1974年；蔡，1987；福热拉，1993年）。哈拉利克等人1994年审查和比较了主要用三点法求外方位的直接解，通信并表征其在不同的噪声条件下的性能。萨瑟兰郡（1974年）提出了一种使用六个或更多点的闭型最小二乘解的方法。然而，这种解决办法仅达到比例因子。福热拉斯1993年提议出一个类似的技术，通过运用正态性约束来解决比例因子。他的解决办法也包括正交化后过程，确保所得旋转矩阵的正交性。1987年，蔡提出了一项直接解决办法，将摄像机参数解耦成两组；每组在不同阶段分别求解。蔡氏的方法虽然有效，但并没有强加任何正交约束的东西在估计旋转矩阵上。此外，前期相机参数的误差估计就能显著影响后期估计参数的精度。

这些方法实现简单有效。然而，它们并不健壮，而且非常易受图像坐标中的噪声影响（王和徐，1996），特别是当控制点数接近最低要求的时候。对于三点解决方案来说，哈拉利克等人（1994年）表示即使代数替换的顺序改变也可以使输出无用。此外，还有点在点坐标中的分布和噪声可以显著地改变相对输出误差。对于基于最小二乘的方法，哈拉利克等人（1989年）的不同研究显示，当噪声级超过一定级别或点数为低于一定水平，这些方法变得极其不稳定和错误激增，更多点的使用可以帮助缓解这个问题。然而，一代人更多的控制点困难、昂贵且耗时。另一个基于点的方法的缺点是点匹配困难，即找到对应关系在3D场景点和2D图像之间像素。

鉴于这些问题，其他研究人员已经研究了高级几何特征的使用，例如观察到的几何形状的线或曲线实体以提高的鲁棒性和准确性估计外部参数的线性方法。多年来，使用特征的各种算法除了用于外部定向问题的点之外，已在摄影测量和计算机视觉被引进（杜勒县，1975年；哈拉利克和楚·日，1984年；帕德雷斯等人，1984年；穆拉瓦，1989年；穆拉瓦和米哈伊尔，1988年；通马塞利和卢格纳尼，1988年；陈和蔡，1990，1991；志高，1990年；李等人，1990年；刘等人，1990年；王和仔，1990；芬斯特瓦尔德，1991年；海基拉，1991年；罗斯韦尔等人，1992年；翁等人，1992年；米哈伊尔，1993年；佩特萨和帕蒂亚斯，1994年）。在摄影测量领域，斯特伦茨（1992年）提供了一个很好的概述，可以使用不同的特征（点、线和曲面）来完成不同摄影测量任务，包括摄影机方向。什切潘斯基（1958年）审查了近60种不同的空间切除的解决办法，追溯到1829年，用于同时和单独地确定位置和旋转参数。托马斯利和图兹（1996年）描述了一种利用直线特征进行空间后方交会的迭代卡尔曼滤波方法。马斯里（1981年）描述了一种利用线性特征进行相机绝对定向的方法，卢格纳尼（1980年）描述了通过空间切除进行相机外部定向的方法。德雷沃克和卢赫尔（1997年）提出了一种基于检测和定位平面物体人孔盖板的航空图像自动外部定向方法。乙烯利（1984年）使用平行和垂直的物体线来估计非测量相机的旋转和内部取向。

研究人员还使用了其他已知的几何场景中的形状以约束解决方案。这样的形状可以是二维的（直线、圆等）或三维（飞机、圆柱体等上的特征）（米哈伊尔和穆拉瓦，1985年）。其他人（克鲁克，1984年；卡格，1989年；弗勒斯，1996年）引入了几何约束，例如坐标差、水平和角度，来改进传统的束调整方法。海基拉（1990年），佩特森（1992年）和马斯（1999年）使用已知距离的移动参考条来进行相机定向和校准。

在计算机视觉中，哈拉利克和楚（1984年）从圆锥曲线的参数提出了一种解决摄像机外部问题的方法。在给定圆锥曲线形状的情况下，该方法首先通过迭代求解三个旋转参数。然后分析求解这三个平移参数。这种方法的优点是不需要知道曲线的位置，并且它比任何分析方法更鲁棒，因为旋转参数误差在被分析应用于计算平移参数之前被减小到最小。在他们的分析方法中，刘等人（1990年），陈和蔡（1990年）讨论了基于一组2D - 3D线对应关系确定相机外部参数的直接解决方案。关键是他们的方法在于他们使用的线性约束。此约束使用3D线及其图像线位于由透视中心和图像线确定的同一平面上的事实。罗斯韦尔等等（1992年）讨论了使用一对圆锥曲线确定摄像机参数的直接方法。该方法通过从圆锥曲线的交点和交点中提取四个或八个点来实现，然后从这些点恢复外部相机参数。库马尔和汉森（1989年）描述了一种使用线查找相机参数的鲁棒技术。卡姆加-帕西和埃阿斯（1990年）介绍了一种小相对角度摄像机标定方法。高（1992年）介绍了一种利用平行六面体估计外部参数的方法。福赛思等人（1990年）建议使用一对已知圆锥或单个已知圆来确定物平面的姿态。哈拉利克（1988年）和哈拉利克、楚（1984年）提出了利用矩形和三角形求解摄像机参数的方法。阿比迪（1995年）提出了一种利用四边形目标进行姿态估计的闭式解。林奈玛和哈伍德（1988年）讨论了一种利用三角形对确定三维物体的方法。陈和蔡（1991年）提出了线-面对应位姿估计的闭合解，并研究了该闭合解存在的条件。1993年马介绍了一种基于二维r3d圆锥曲线对应关系的位姿估计方法。然而，该技术是迭代的，并且需要二维和三维的一对圆锥曲线。

基于高层次几何特征的解析解具有更好的稳定性和更强的鲁棒性和精确性。这里，对应问题可以比基于点的方法更容易地解决。但是，高级几何特征在一些应用中可能并不总是存在，并且在许多应用中存在点。因此，完全忽略点而仅使用高级几何实体可能浪费容易获得的几何信息。这是现有解决方案的问题之一：它们使用点或线或圆锥，但不使用特征的组合。本文介绍了一种综合最小二乘法，它通过融合现有的摄像机变换矩阵来解析求解摄像机变换矩阵，从不同抽象层次观察几何信息。具体地说，我们通过同时使用点之间、线之间以及2D椭圆和3D圆之间的2D - 3D对应来解析地求解外部参数。我们方法的吸引力在于冗余，由不同层次的特征提供，提高了最小二乘解的鲁棒性和精度，从而提高了估计参数的精度。据我们所知，在同时使用所有三类特征的情况下开发外部取向的线性解是先前没有的研究尝试。丰等人的工作（1995年）描述了一种使用来自点和线的信息来计算外部取向的技术。然而，该方法是迭代的，只涉及点和线。

导致现有线性方法缺乏鲁棒性的另一个主要因素是旋转矩阵上的正交性约束常常被弱强制或根本没有强制。在本研究中，我们提出了一个简单而有效的方案来近似地对旋转矩阵施加正交约束。虽然该方案不能保证得到的旋转矩阵完全满足正交性约束，但它确实产生了更接近正交性的矩阵，比用竞争方法得到的结果更好。

本文的组织结构如下。第2节简要总结了透视投影的几何和方程，用于估计相机变换矩阵的最小二乘框架2D - 3D点、线和椭圆对应分别在第3 - 5节中介绍。第6节讨论了近似施加正交约束的技术利用点、线和椭圆对应同时估计变换矩阵的集成线性技术。第7节介绍了所开发集成技术的性能表征和比较。

2 .透视投影几何

为了为后面的讨论做好准备，本节简要总结了针孔摄影机模型和透视投影几何。

设P是3D点，(x y z)^t是P相对于对象坐标框架C_D的坐标。定义相机坐标系C_C，使其z轴平行于相机透镜的光轴，并且其原点位于透视中心。设(x_c y_c z_c)^t是在C_C中P的坐标。定义C_i为图像坐标系，其u轴和v轴分别平行于相机坐标系的x轴和y轴。C_i的原点位于主点。设(u v)^t为P_i的坐标，P在C_i中的像投影。图1表示针孔照相机模型。

基于透视投影理论，将图像平面上的(u,v)与相机帧中相应的3D点(x_c,,y_c,,z_c )相关的投影可以通过以下方式来描述

lambda; = （1）

其中l是标量，f是相机焦距。

此外，(x y z)^t通过由旋转矩阵和平移组成的刚体坐标变换与(x_c y_c z_c)^t相关。让3times; 3矩阵R表示旋转，3times;1向量T描述旋转，那么

T （2）

其中T和R可以被参数化为T=(t_x t_y t_z)^t

R=

R和T分别描述对象帧相对于相机帧的取向和位置，它们一起被称为相机变换矩阵。

图1针孔照相机模型

将参数化的T和R代入方程。等式2变成

（3）

组合投影方程（1）和（2）方程作刚性变换，消除lambda;产生共线方程，其描述图像平面上的点与对象帧中的对应点之间的理想关系

u= （4）

v=

对于刚体变换，旋转矩阵R必须是正交的，即R^t =R^-1。约束R^t =R^-1等于R元素上的六个正交约束方程

r₁₁ ² r₁₂² r₁₃²=1 r₁₁r₂₁ r₁₂r₂₂ r₁₃r₂₃=0

r₂₁² r₂₂² r₂₃²=1 r₁₁r₃₁ r₁₂r₃₂ r₁₃r₃₃=0 （5）

r₃₁² r₃₂² r_33<!--

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[24576]，资料为PDF文档或Word文档，PDF文档可免费转换为Word