1．目的及意义

1.1 研究目的及意义

近年来，机器视觉以其非接触式、较宽的光谱响应范围、定位、测量和缺陷检测的优势，在军事目标识别、人脸识别、指纹识别、发票号码识别、农作物质量检测和医学图像检测等领域得到了广泛的应用。在自动化拆卸中，机器视觉是自动获取零部件特征信息和特征参数的一种较为可行的技术方案，对于一些高要求、高负荷的重复性和智能性的工作，比如细微缺陷检测和零部件测量，人眼很难持续、稳定地完成，机器视觉可以高效、高质量地完成检测任务。

目前基于二维RGB图像的3D目标识别主要面临的问题有：1）容易收到光照等外界条件的影响；2）图像在投影过程中，丢失了实际场景的三维结构信息，导致无法提取表征3D物体本质属性的特征；3）难以解决类内差异和类间相似的3D目标识别问题，目标识别精度不高。近年来，人们研究发现Depth信息不仅能够表征物体的3D几何特性，而且不受光照、物体表面颜色、物体形态变化等的影响，能够提供比二维RGB图像更加可靠的识别信息。微软公司2010年推出的Kinect相机价格适中，并能够同时获取物体的高分辨率RGB图像和低分辨率Depth图像，使得利用Kinect相机获取的Depth信息来解决3D目标识别问题称为一个新的研究热点。

1.2 国内外研究现状

一些研究者提出了直接从Depth图中提取目标的3D特征来实现3D目标识别。Rusu和Steder等人分别利用视角特征直方图和对齐径向特征来表征目标物体，实现3D目标识别，Shah等人将3D向量场的散度作为表征局部表面特征描述子进行3D目标识别，由于该类算法是先通过Depth图像获得目标的3D点云模型，再由3D点云模型提取目标的3D特征描述子来完成3D目标识别的，在样本类内差异大、类间相似度高的情况下，3D点云模型并不能很好的反映出这些样本间的差异，且该类方法计算复杂度较高，运算速度慢，不利于进行大样本的识别任务。

为解决上述直接利用Depth图的3D特征进行识别带来的问题，另外一些研究者提出了融合高分辨率RGB图像和低分辨率Depth图像特征的一些3D目标识别方法，Janoch和Mirdanies等人分别提取RGB图和Depth图中目标物体的HOG特征和SIFT、SURF特征来实现3D目标识别，Bo等人提出利用分层核特征描述子进行3D目标识别，分别提取RGB图的梯度核描述子、Depth图中深度核特征描述子，并结合了RGB特征和Depth特征进行3D目标识别。该类算法与直接利用3D特征的识别方法相比具有算法简单、运算速度较快的优点。然而，上述方法都是直接利用二维RGB图像中的特征获取方法来提取Depth图中的特征，因此该类特征获取方法并没有很好的表征物体的3D局部几何特征。{title}

2. 研究的基本内容与方案

{title}

本文主要研究内容是针对单独利用RGB信息和深度信息进行目标识别存在的局限性以及目标间存在类内差异、类间相似等不确定性问题，结合RGB图像和深度图像的特点，在特征层上，实现一种基于多核学习的雜合RGB特征和深度特征的3D目标识别方法，通过在RGB-D数据集上进行多组实验，验证所研究方法在特征层上可以较好地实现RGB特征和深度特征的融合，有效解决样本类内差异、类间相似的识别问题，提高3D目标识别的识别率。

本研究基于python-opencv平台，拟结合RGB图像和Depth图像各自的优势，提取目标物体的RGB特征和Depth特征，并根据两种特征的类内、类间相似性均值和方差，为特征自适应分配不同的权重，最后利用多核学习（MKL）中的方法对特征进行加权融合，并结合SVM分类器，实现3D目标识别，并在RGB-D数据集上进行实验，验证目标识别方法的有效性。其中在特征提取时需要选择具有仿射不变性的特征作为RGB图像和深度图像的特征描述子，利用类内、类间相似性均值和相似性方差的比值作为衡量特征判别能力大小的权重，从而将对两种特征的融合转换为对其相应的特征核的融合，从而形成对3D物体的识别方法。

图1 研究内容结构框图

3. 参考文献

[1]杨慧,胡良梅,张旭东,陈仲海,董文菁.一种基于D-S证据理论的融合RGB特征和Depth特征的3D目标识别方法[J].计算机应用与软件,2016,33(07):162-166.