基于特征单应矩阵的双目摄像机系统贪婪标定方法

双目数码相机系统已广泛应用于近景摄影测量和机器视觉双目立体视觉，如机器人导航，零部件检验，基于图像的渲染和制作三维模型等等。由于在摄像机标定过程中派生的对象数据的高度依赖性，对双目摄像机的几何部署的标定是有必要的，这包括摄像机在双目立体系统中的内外参数。

采用平面图案来校准双目摄像系统是由于它的优点是简单性和高准确度。具作者所知，一些基于平面的线性标定方法已被开发，可分为传统的基于代数的校正和几何标定。在一个更直观的几何结构中，被限制为给定的照相机的内部几何形状的特性线从平面单应性矩阵推导。关于摄像机的内部几何结构基因的自身的信息（比如不同厂家和规格的CCD传感器单元尺寸），这些和平面单应矩阵相关，应该被考虑到。这个微小的的波动的影响相对于CCD传感器单元尺寸在校准过程中可以直接忽略。此外，存在双目摄像机从三维几何空间中的不同位置观看同一场景之间的一个额外的一致性约束，这可以用于给定的立体设置，以获得精确的外部几何形状。作者扩展了以前的工作单摄像机标定的双目情况。在本文中，该平面单应性矩阵的特征特性被用来校准双目摄像系统，直观地与给定的摄像机的内部几何形状的已知知识的一部分相联系，同时通过在三维几何空间中的一致性约束来估计双目摄像机之间的外部参数。

1摄像机模型

本文采用有限投影相机作为标准的针孔模型。左、右摄像头的（i = 1,2）可以被假定为具有恒定的内参数矩阵，

i=1,2 (1)

与主要长度 和 （以像素计），主点（以像素计）和畸变因子 占非矩形像素。在接下来的普通相机中我们忽略了 并将其设置为零，这是因为在CCD阵列像素被认为是我们的矩阵模型。注意， 和 都涉及到像素单元的宽高比，。此外，作为一个特殊值，可以从相机制造商的规格生产书中简单的得到。在现代光学元件制造业中，晶胞尺寸的波动小到可以忽略。如果在CCD阵列的像素可以被假定为正方形，长宽比可以设置为1。绝对二次曲线的图像与标定和测量的重建场景相联系，即。

摄像机坐标(i=1，2)和世界坐标 （j=1,2，hellip;，J）旋转矩阵和平移矢量分别是 和 。一个位于一个特殊的平面上(Z_W=0)的三维点P(X_W,Y_W,Z_W)投射到这两个摄像头的图像平面上。在这个投影框架，我们可以得到

i=1,2 (2)

在这个式子当中，,,s是一个比例因子，是q关于的纵列，.

注意，其中是q关于的纵列，。是平面图像的单应矩阵，反映了在特殊平面图案的点被映射世界坐标到各照相机i的图像坐标。

2 校准方法

2.1平面单应矩阵的估计

如果采用不同的姿势J模型平面来进行双目立体视觉系统标定，每个姿势的平面单应矩阵都应进行准确估计。在该算法中使用了一个给定的二维参考图案的模型平面。给定了一个nge;4的点对应的平面。图像映射，直接线性变换（DLT）算法可以用来确定和相关的线性解决方案，并在产生影像，可以为非线性优化过程的初始猜测。由于DLT算法的非不变性，二维点集必须首先进行归一化，以便得到更准确的估计。

2.2从平面单应矩阵内参数得到的线性解决方案

2.2.1特征线的建设

因为相机内在的参数被认为是恒定不变的，他们可以从平面单应矩阵中得到一个贪婪的标定方法。平面单应矩阵的具有一个有用的特点，例如在校准方法中，每个摄像机可以单独使用特征线。对于一个给定的平面单应矩阵和具有齐次坐标向量r的特征线可以表示通过方程（3）来表示。这个约束是源自于以固有参数和平面场景定位为基准的。对于一个给定的相机的方程（3）的详细推导过程可以通过参考文献7和8得到。满足平面单应矩阵H的相机i的主点必须在相应的特征线上。

i=1,2;j=1,2,hellip;,J (3)

在这个方程式中，有

2.2.2主点通过总最小二乘法拟合

由于噪声的存在，实际特征线并不相交于一个点。这个约束是一个基于几何动机成本函数最小化的线性优化框架的解决。在图像空间中从每个相机i的实际主点到实际特征线L的距离的平方可以用公式来表示。通过总体最小二乘拟合法得到的所有特征线相交于指定相应的平面模型，我们可以得到

(4)

通过求解方程（4），各自相机的主点可以精确的计算出来。

2.2.3从重塑平面单应矩阵得到主轴长度

根据IAC，旋转矩阵的正交性， 和 与纵横比和给定的平面单应矩阵相关联，通过这个关系我们可以得到如下关系：

(5)

在方程式中，有

方程组（5）适用于所有平面模型，我们有，其中和 b都是的向量。最后我们可以得到的结果是,。

2.3三维几何空间中实施一致性约束

2.3.1单透视图的外部几何构型

在如上所述对内部参数进行贪婪估计程序后让我们开始估计两个摄像机之间的外在参数的物理角度。双目在立体声的设置不是独立的，因为他们从三维几何空间中的不同位置查看相同的场景。通常这种连接被用来构建双目摄像机之间刚性位移的一致性约束。相机在三维空间的平面模型的外部参数在自己的世界坐标系统中被校准。一旦被知道，那么以为参考的每个相机的最初的外部参数和就可以很容易的被计算出来。因此我们可以得到公式，，，，在这些式子当中有.

2.3.2双视图之间的刚体位移

让X 和 分别是空间点在 和 上的坐标值，那么，我们可以得到

i=1,2 (6)

注意到。通过方程式（6）我们得到 和 的关系可以用下面的式子来表示，即

, (7)

方程式（7）可以被看作是一个从 到 的刚体变换。

当多于2个的平面模型可以同时被 和 观察到时，由于噪声的存在通过方程（7）计算的每个平面模型从 到 的变换可能会存在一点误差。在这种情况下，每个R可以表示的3向量矩阵，它可以体现旋转轴和幅度相当于旋转角度的大小，由罗德里格斯公式如下

(8)

在这个式子当中是一个反对称矩阵，同时 是一个3times;3单位矩阵。r , 和 t的大小可以通过[R t]来唯一估计。

3实施与实验结果

首先，提出的该算法在一个贪婪策略上进行详细的介绍或实施。然后，该算法的性能是通过对显示在图1的空间配置的基础上进行的实际数据仿真和实验测试。

图1 双目相机系统的空间结构（单位：毫米）

3.1执行问题

贪婪算法是解决局部最优选择以便在每个阶段找到全局最优解的metaheuristic算法。将贪婪策略应用于双目相机系统的标定问题，得到以下六个步骤的描述方法：

步骤1 准确估计两个视图相机在不同视角下所有平面模型的单应矩阵；

步骤2 从刚才获得的平面单应矩阵中构造特征线；

步骤3 通过刚才得到的特征线用总最小二乘法拟合分别计算出两种视角相机的鲁棒性主点

步骤4 通过重塑平面单应矩阵来分别计算两种视角相机得精确主轴长度

步骤5 通过初始参数的计算和平面的单应性的方法在给定的单视图上分别生成各自的外部几何形状

步骤6 将一个视图的外部几何形状和另一个视图的外部几何形状相结合，计算出精确的刚体位移。

该技术的一个优点是，双目视觉系统的内在的和外在的参数可以在给定的线性假设下的不同阶段贪婪地得到。

3.2计算机仿真结果

在一个立体声系统中进行仿真实验，如图1所示。两个摄像头 和 对称放置在一条经过世界参考坐标系原点间隔235毫米的直线上，同时面向前方，集中在在世界坐标系统具有协调值(0，0，1700)(mm)相同的固定点。模拟已经实现了使用一个从不同的位置和方向的两个具有640480分辨率的相机拍摄的立体图像链。常数的固有参数可以被设置为共同的值：，，， 和 。每一个模型平面上都绘有具有14毫米间隔的1826 = 468个参考点。每个平面模型的中心是固定在的，并且每一个模型的构成，都可以由从给定的平面到世界参考系统不同的欧拉角（俯仰角，偏航角和滚动角）来表示。平面图案的不同姿势由文献[8] 提出了对称选择策略。

我们使用了改变偏航角（，，，，，）的六个平面模型，俯仰角，滚动角。具有均值为零和标准差的高斯噪声被添加到投影图像点上。得到相机参数的估计值后与真值相比较。当我们测量旋转角度的绝对误差和两个相机之间的转换时我们也在测量每个摄像机的内部结构的 和 的相对误差，和 的绝对误差。在500个模拟试验中我们发现噪声水平范围从0.1个像素到1.5个像素。如图2所示的结果是张氏标定法封闭式的解的均值。正如我们所见，我们的做法在噪音水平表现上显然比只有封闭形式的张氏标定法更好。对于后者的方法，具有大量的波动的原因是张氏标定法只有闭式的方法，可能纯粹是基于代数距离的最小化，对于所有的内在参数来说这是没有物理意义的。然而，我们的方法被用来获得每个内在的参数的最佳值的解决方案，通过已经知道的知识在几何和直观角度上阶段性的最小化一些物理意义上的距离。

3.3真实数据的结果

该算法已经过了真实数据的测试。该双目摄像机系统由两个8毫米焦距镜头的DH-HV3102UC CCD摄像机组成。两个摄像机都是2048times;1536的分辨率，每个CCD传感器是单元尺寸是3.2微米times;3.2微米。具有30毫米间隔的 个格点的平面模型大致如图1所示的位置放置，同时改变偏航角使其大致处于（，，,,,，，），同时俯仰角，滚动角，可以得到八种不同的姿势。估算从现有的八个图像选出七个图像的所有组合的内在参数和外在参数并分别列于表格1和表格2当中。同时，一些在表格3和表格4显示的是统计结果与具有或不具有通用性的像素单元的长宽比约束的张氏封闭形式标定法的实际数据的比较。由于世界坐标系是不可用的，为了验证我们的参数，我们使用样本均值作为具有样本标准差的世界坐标系，我们同时还表示了平均主轴长的相对误差，和主点，，旋转角度，以及转变t的绝对误差。

图2模拟图像点的误差与噪声级

(a)主点 （b）主长 (c)旋转角度 (d)转变结果

正如表格1和表格2中所显示的，除了表格2当中的最后一项数据外我们的整体效果是非常可靠的。对于数据具有大的误差的原因可能是坐标系在z轴方向上存在一些制约。我们可以从表格3和表格4中看出，除了表格3中前两项数据外，我们的结果在样本标准变动上是总的相对稳定的，而且，就整体而言，结果与具有或不具有通用性的像素单元的长宽比约束的张氏封闭形式标定法相比也更接近性能样本均值。一种极线校正方法可以用来验证我们的校准结果。从图3，我们可以看出，用在三维空间坐标系中有偏航角，俯仰角，滚动角方向的平面模型的水平线来标记的图像对的极线在平均系统参数估算校正后行对齐。

表1 实际数据的内在参数的实验结果

表2 真实数据的外部参数的实验结果

注：每个中括号表示与当前参数相关的绝对误差

表3 比较我们的结果的内在参数与有或没有假定的纵横比的张氏封闭形式解的内在参数

表4比较我们的结果的外在参数与有或没有假定的纵横比的张氏封闭形式解的内在参数

4 结论

一个新的基于平面的摄像机标定方法，简单直观的来说，就是在贪婪及直觉的框架下的近距离的双目摄像机系统。校准过程依赖于平面单应矩阵的优良特性和对CCD传感器单元尺寸的一般已知知识的假定性约束以及空间几何的内在一致性约束。在这样一个立体声系统中代表内在和外在的几何形状的一些预定意义的参数通过构造具有几何意义的成本函数在线性优化框架中一步步的得到最佳估计值。计算机模拟和真实数据都被用来测试这种方法，并都得到了合理的满意结果。因此，这个给定的算法是一个不需要高精度要求的应用程序，同时与传统的算法相比可以很容易地由普通计算机用户进行的，而不需要计算机视觉中的专家。在未来的工作中，我们计划去观察有关镜头畸变或全局优化的计划来获取更加可靠的结果。

摄像机标定的指导

2.1 相机的模型

最广泛使用的模型是摄像机针孔成像模型。如图1所示，相机被建模为一个针孔模型。图1中，物体的光线通过针孔聚焦在图像平面上，然后形成物体的图像。针孔和图像平面之间的距离就是焦距f。假设物体的长度为X，物体图像的长度为x，物体与针孔之间的距离为Z。f，X，x和Z四个参数服从方程：

(1)

在现实中，成像过程是从三维空间到二维空间的投影。一个三维的点P (, , )与它的对应的投影图像的点p(, )之间的关系是

(2)

其中S是一个非零的尺度因子。和是和随着主点(, )变化的沿虚轴的比例因子，它们包含于内部矩阵。R和T，是从世界坐标到相机坐标系的旋转矩阵和平移矢量。他们被称为外部矩阵。针孔相机模型也被称为线性模型。

2.2变形模型

针孔相机模型代表了理想的相机模型，它不能代表真实的图像几何。实际上，畸变总

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[153403]，资料为PDF文档或Word文档，PDF文档可免费转换为Word