基于深度学习的单应性矩阵估计方法文献综述
2020-04-15 09:41:37
1.1研究背景:
单应性是几何中的概念,表示从一个实射影平面到射影平面的可逆变换,在计算机视觉领域中,空间中同一平面的任意两幅不同的照片是通过单应性相互关联在一起的。而单应性矩阵是单应性的一种表示方式。对于通过旋转相机镜头获取两张不同的照片1和照片2,照片1乘以单应性矩阵就得到了照片2。单应性矩阵有许多的实际应用,比如图像的矫正,图像的对齐或者两幅图像的旋转和平移的计算,一旦计算出来可以用来导航或者将3D的物体插入到图像或视频之中,根据正确的透视和渲染成为原始图像的一部分。
目前在国内外对于单应性矩阵估计的研究中,有传统的单应性矩阵的估计方法,分为两个阶段:角点估计和鲁棒性估计,首先通过特征检测的方法返回大量的匹配点集,然后通过RANSAC方法估计单应性矩阵。在单应性矩阵的估计中鲁棒性很大程度上依赖于RANSAC或者给定损失函数的鲁棒性,在RANSAC中距离偏差与阈值是人为给定的,如果判断匹配点的距离偏差阈值过大,结果不准确,而距离偏差阈值过小会造成计算次数增加,而在特征检测中有角点特征和人造线形特征需要人为设置,研究人员投入了大量精力将线特征和更复杂的几何图形添加到特征检测步骤中。D. DeTone等研究人员采用了基于VGGNet的卷积神经网络结构,将单应性矩阵的估计转化为通过重新定位一组4个点来定义,然后输入到神经网络中进行单应性矩阵的预测,但是有些情况下效果并没有传统方法结果准确。
国内目前对于单应性矩阵的估计集中在优化单应性矩阵算法中对应点的匹配准确性和提高算法的鲁棒性。
1.2 目的及意义:
本次设计目的是将深度卷积神经网络的结构应用于单应性矩阵的估计,网络的输入是一对不同角度的灰度图像,直接得到图像对的单应性矩阵,提高单应矩阵估计的准确度。
本次设计的意义是采用深度卷积神经网络对于图像特征提取的特点,不需要人为的设定距离偏差的阈值或者特征提取方式,网络最后可以直接输出对于图像的单应性矩阵的估计。避免了人为的设置角点特征或人造线形特征的难点,实现端到端的学习方式。{title}2. 研究的基本内容与方案
{title}2.1基本内容(功能):
设计一种深度卷积神经网络,网络的输入是单应性相关的双通道灰度图像,图像的分辨率的大小为128*128,最初计划使用8个卷积层,最后是一个全连接层,网络的结构类似VGGNet,损失函数采用不同的损失函数测试网络的效果例如Eucidean Loss等,回归网络直接生成8个实数值,对应于图像的单应性矩阵估计。
需要实现的功能为:
① 深度学习训练集和测试集的构建:训练数据作为深度神经网络的关键因素,数据的数量和质量决定深度卷积网络的效果;