1. 研究目的与意义（文献综述）

1.1选题目的

局部特征描述符因为灵活地描述图像局部信息的细节内容，且对图像旋转、缩放、视角以及光照变化具有很强的鲁棒性，常用于图像显著区域特征的提取或关键点的描述。本课题的主要任务是利用已有的局部特征描述方法，融合多类特征对图像进行分类，设计基于支持向量机的分类器，比较不同方式描述下的单一特征和多特征对图像分类的影响，并对结果进行分析。

1.2局部特征描述概念

图像特征提取方法以及分类器的选择是影响图像分类精确度的关键因素。传统算法利用单一的图像特征和浅层结构对图像进行分类, 算法实现简单但结果精确度不高。针对这一情况，提出基于多特征融合和深度学习的图像分类算法。算法利用颜色矩、lbp和梯度直方图等算法提取图像的颜色、纹理以及形状特征, 继而通过融合算法将这些不同属性的特征进行融合, 作为深度学习网络的输入层。实验结果表明, 相对于单特征浅层分类, 算法在保证时效性的同时, 图像分类精确度得到了提高, 分类效果更加可靠^[1]。

1.3多特征融合概念

图像融合技术根据融合处理所处的阶段不同, 可以分为3个层次：像素层面的图像融合、特征层面的图像融合以及决策层面的图像融合。像素级融合的对象一般是原始数据, 通过信息的互补, 最大限度地利用原始数据；特征级融合通过特征信息如边缘、纹理、相似亮度等特征数据进行几何关联、目标识别以及特征提取。特征级融合便于信息实时处理和压缩, 剔除冗余信息的同时使各个单一特征信息进行互补^[2]。

2. 研究的基本内容与方案

2.1特征融合理论

预处理

图像配置

特征提取

预处理

图像配置

特征提取

图像N

预处理

图像配置

特征提取

特征及级图像融合

特征分类

决策和解决

图像融合技术根据融合处理所处的阶段不同，可以分为3个层次：像素层面的图像融合、特征层面的图像融合以及决策层面的图像融合^[4]。像素级融合的对象一般是原始数据，通过信息的互补，最大限度地利用原始数据；特征级融合通过特征信息如边缘、纹理、相似亮度等特征数据进行几何关联、目标识别以及特征提取。特征级融合便于信息实时处理和压缩，剔除冗余信息的同时使各个单一特征信息进行互补，多特征图像融合流程如图1 所示。特征融合可以去掉对分类决策无用的冗余信息，最大限度地保留各个特征的有效判别信息，进而为分类器的分类决策提供依据^[5]，像的特征处理分为单特征处理和多特征融合两个方面。

图 1 特征级图像融合

2.2 图像特征提取

图像的典型特征主要有结构、纹理、颜色等，多特征能够表达同一图像的多种不同信息，进而减少图像信息的不确定性^[10]。

图像的结构特征是指图像的边缘、区域以及面积，表示的图像空间和形状之间的某种属性是一种全局特征，图像的结构特征可以通过两种方式来表示即以区域为特征和以边缘为特征^[11]。

图像的结构特征可以通过求解图像的梯度直方图得到。具体算法公式为

θ(x, y)=tan-1Ix,y 1-I(x,y-1)Ix,y 1-I(x,y-1) , （1）

m(x,y)=Ix,y 1-Ix,y-12 Ix-1,y-Ix 1,y2 （2）

式（1）、式（2）中： I(x,y)为图像坐标 (x,y)处的像素值，θ为每个像素点的梯度方向，m为梯度方向对应的梯度值^[12]。

2.3多特征融合方式

分类器的分类决策提供依据图像的特征处理有：单特征处理和多特征融合。本课题主要使用多特征融合的方法。

全局特征和局部特征是图像分类中特征的主要存在形式。图像的整体特性如结构特征、颜色特征和纹理特征等是图像的全局特征；局部特征则代表图像的局部信息如光照、灰度等。由于图像分类的精确度取决于特征的提取，但底层特征描述图像的能力比较弱，分类效果较差。因此,通过多特征融合来描述图像，实现信息互补和冗余信息的剔除，进而提高图像分类效果^[13]。

特征融合实现的方法主要有并行融合方法和串行融合方法。具体算法为：将多个特征向量以一定的运算法则进行合并，最终生成一个新的特征向量。数学表示为：设A，B，C分别表示图像的结构、纹理、颜色3个特征空间,其中α∈A，β∈B，λ∈C为特征空间的3个特征向量。并行融合方法为

η=α βi j λ . （9）

串行融合方法为

η= αβλ

式（9）中：为复合特征向量η ,i, j 代表虚数.另外,只有3个特征向量维数相同才能进行并行融合,否则则需要低维特征向量补零使3个特征向量维数相同^[14]。

2.4 算法的实现

基于多特征融合和深度学习的图像分类算法,具体算法流程如下所示：

(1)分别提取训练图像的结构、纹理、颜色特征进行多特征融合.通过求解图像的梯度直方图得到一个结构特征；求解灰度共生矩阵算法和LBP算法、Tamura算法得到3个纹理特征；利用颜色矩和HSV直方图得到两个颜色特征，一共6个特征值。

(2)对得到的6个特征值进行归一化处理,使特征值数据位于[0.0，1.0]之间，为保证实验效果的一致性，采用数据库图片大小为 256*256 并将数据库图片分为两个部分训练样本集和测试样本集，实现归一化步骤为：

x=xn-xminxmax-xmin

(3)将得到的6个特征向量归一化后，进行串行融合进而得到图像的最终特征，继而将图像的最终特征和类标签信息，输入到RBM深度置信网络进行样本训练，为了兼顾计算复杂度和分类准确度，采用五层网络模型^[15]。

(4)通过深度置信网络得到的训练样本，计算出深度置信网络显层和隐层之间的偏置数据以及权值数据，并将分类图像最终的特征表示输入到训练完善的深度置信网络中进行测试，得到最终的分类效果。

(5)算法结束.

样本测试集

图像底层特征结构，纹理，颜色

图像底层特征结构，纹理，颜色

特征融合合

特征融合合

深层置信网络 分类器训练

训练后的深层置信网络分类器

训练后的深层置信网络分类器

预测

标签

基于多特征融合和深度学习的图像分类流程如图2所示^[16].

图 2 图像分类流程

3. 研究计划与安排

第01周——第03周：搜集相关资料，撰写开题报告；

第04周——第05周：论文开题；

第06周——第12周：撰写论文初稿；

4. 参考文献（12篇以上）

参考文献：

[1] 黄冬梅,许琼琼,贺琪,等.融合多特征的深度学习标注方法[j].计算机工程与应用,2018,54（1）：224- 228.

[2] 蒋雨欣,李松斌,刘鹏,等.基于多特征深度学习的人脸性别识别[j].计算机工程与设计,2016,37（1）：226- 231.