1．目的及意义

1.1选题目的

局部特征描述符因为灵活地描述图像局部信息的细节内容，且对图像旋转、缩放、视角以及光照变化具有很强的鲁棒性，常用于图像显著区域特征的提取或关键点的描述。本课题的主要任务是利用已有的局部特征描述方法，融合多类特征对图像进行分类，设计基于支持向量机的分类器，比较不同方式描述下的单一特征和多特征对图像分类的影响，并对结果进行分析。

1.2局部特征描述概念

图像特征提取方法以及分类器的选择是影响图像分类精确度的关键因素。传统算法利用单一的图像特征和浅层结构对图像进行分类, 算法实现简单但结果精确度不高。针对这一情况，提出基于多特征融合和深度学习的图像分类算法。算法利用颜色矩、LBP和梯度直方图等算法提取图像的颜色、纹理以及形状特征, 继而通过融合算法将这些不同属性的特征进行融合, 作为深度学习网络的输入层。实验结果表明, 相对于单特征浅层分类, 算法在保证时效性的同时, 图像分类精确度得到了提高, 分类效果更加可靠^[1]。

1.3多特征融合概念

图像融合技术根据融合处理所处的阶段不同, 可以分为3个层次：像素层面的图像融合、特征层面的图像融合以及决策层面的图像融合。像素级融合的对象一般是原始数据, 通过信息的互补, 最大限度地利用原始数据；特征级融合通过特征信息如边缘、纹理、相似亮度等特征数据进行几何关联、目标识别以及特征提取。特征级融合便于信息实时处理和压缩, 剔除冗余信息的同时使各个单一特征信息进行互补^[2]。

1.4国内外研究现状

对图像局部特征描述的常用方法有：有向梯度直方图(HOG)、尺度不变特征(SIFT)、局部二值特征(LBP) 、加速的鲁棒特征(SURF)、梯度位置和朝向直方图(GLOH)、二值鲁棒的独立基本特征(BRIEF)、有向FAST和旋转BRIEF特征(ORB)、DAISY描述子等等，这些描述方法都有不同的适用范围，被广泛应用于图像分类、视频（图像）检索、目标追踪等任务中^[3]。

特征融合可以去掉对分类决策无用的冗余信息, 最大限度地保留各个特征的有效判别信息,进而为分类器的分类决策提供依据图像的特征处理分为单特征处理和多特征融合两个方面。
{title}

2. 研究的基本内容与方案

{title}

2.1特征融合理论

预处理

图像配置

特征提取

预处理

图像配置

特征提取

图像N

预处理

图像配置

特征提取

特征及级图像融合

特征分类

决策和解决

图像融合技术根据融合处理所处的阶段不同，可以分为3个层次：像素层面的图像融合、特征层面的图像融合以及决策层面的图像融合^[4]。像素级融合的对象一般是原始数据，通过信息的互补，最大限度地利用原始数据；特征级融合通过特征信息如边缘、纹理、相似亮度等特征数据进行几何关联、目标识别以及特征提取。特征级融合便于信息实时处理和压缩，剔除冗余信息的同时使各个单一特征信息进行互补，多特征图像融合流程如图1 所示。特征融合可以去掉对分类决策无用的冗余信息，最大限度地保留各个特征的有效判别信息，进而为分类器的分类决策提供依据^[5]，像的特征处理分为单特征处理和多特征融合两个方面。

图 1 特征级图像融合

2.2 图像特征提取

图像的典型特征主要有结构、纹理、颜色等，多特征能够表达同一图像的多种不同信息，进而减少图像信息的不确定性^[10]。

图像的结构特征是指图像的边缘、区域以及面积，表示的图像空间和形状之间的某种属性是一种全局特征，图像的结构特征可以通过两种方式来表示即以区域为特征和以边缘为特征^[11]。

图像的结构特征可以通过求解图像的梯度直方图得到。具体算法公式为

θ(x, y)=tan-1Ix,y 1-I(x,y-1)Ix,y 1-I(x,y-1) , （1）

m(x,y)=Ix,y 1-Ix,y-12 Ix-1,y-Ix 1,y2 （2）

式（1）、式（2）中： I(x,y)为图像坐标 (x,y)处的像素值，θ为每个像素点的梯度方向，m为梯度方向对应的梯度值^[12]。

2.3多特征融合方式

分类器的分类决策提供依据图像的特征处理有：单特征处理和多特征融合。本课题主要使用多特征融合的方法。

全局特征和局部特征是图像分类中特征的主要存在形式。图像的整体特性如结构特征、颜色特征和纹理特征等是图像的全局特征；局部特征则代表图像的局部信息如光照、灰度等。由于图像分类的精确度取决于特征的提取，但底层特征描述图像的能力比较弱，分类效果较差。因此,通过多特征融合来描述图像，实现信息互补和冗余信息的剔除，进而提高图像分类效果^[13]。

特征融合实现的方法主要有并行融合方法和串行融合方法。具体算法为：将多个特征向量以一定的运算法则进行合并，最终生成一个新的特征向量。数学表示为：设A，B，C分别表示图像的结构、纹理、颜色3个特征空间,其中α∈A，β∈B，λ∈C为特征空间的3个特征向量。并行融合方法为

η=α βi j λ . （9）

串行融合方法为

η= αβλ

式（9）中：为复合特征向量η ,i, j 代表虚数.另外,只有3个特征向量维数相同才能进行并行融合,否则则需要低维特征向量补零使3个特征向量维数相同^[14]。

2.4 算法的实现

基于多特征融合和深度学习的图像分类算法,具体算法流程如下所示：

(1)分别提取训练图像的结构、纹理、颜色特征进行多特征融合.通过求解图像的梯度直方图得到一个结构特征；求解灰度共生矩阵算法和LBP算法、Tamura算法得到3个纹理特征；利用颜色矩和HSV直方图得到两个颜色特征，一共6个特征值。

(2)对得到的6个特征值进行归一化处理,使特征值数据位于[0.0，1.0]之间，为保证实验效果的一致性，采用数据库图片大小为 256*256 并将数据库图片分为两个部分训练样本集和测试样本集，实现归一化步骤为：

x=xn-xminxmax-xmin

(3)将得到的6个特征向量归一化后，进行串行融合进而得到图像的最终特征，继而将图像的最终特征和类标签信息，输入到RBM深度置信网络进行样本训练，为了兼顾计算复杂度和分类准确度，采用五层网络模型^[15]。

(4)通过深度置信网络得到的训练样本，计算出深度置信网络显层和隐层之间的偏置数据以及权值数据，并将分类图像最终的特征表示输入到训练完善的深度置信网络中进行测试，得到最终的分类效果。

(5)算法结束.

样本测试集

图像底层特征结构，纹理，颜色

图像底层特征结构，纹理，颜色

特征融合合

特征融合合

深层置信网络 分类器训练

训练后的深层置信网络分类器

训练后的深层置信网络分类器

预测

标签

基于多特征融合和深度学习的图像分类流程如图2所示^[16].

图 2 图像分类流程

3. 参考文献

参考文献：

[1] 黄冬梅,许琼琼,贺琪,等.融合多特征的深度学习标注方法[J].计算机工程与应用,2018,54（1）：224- 228.

[2] 蒋雨欣,李松斌,刘鹏,等.基于多特征深度学习的人脸性别识别[J].计算机工程与设计,2016,37（1）：226- 231.

[3] 曾志,吴财贵,唐权华,等.基于多特征融合和深度学习的商品图像分类[J].计算机工程与设计,2017（11）：3093- 3098.

[4] 李乡儒.基于多特征融合和深度学习网络提取的手写数字识别方法：106874879 A[P].2017- 02- 21.

[5] 陈明明.融合多种特征的基于深度学习技术的汉语语音识别研究[D].北京：中国科学院大学,2015.

[6] 赵姗姗.深度学习与多元特征相结合的答案选择排序研究[D].哈尔滨：哈尔滨工业大学,2016.

[7] 顾鑫,王海涛,汪凌峰,等.基于不确定性度量的多特征融合跟踪[J].自动化学报,2011,37（5）：550- 559.

[8] 律方成,金虎,王子建,等.基于组合核多特征融合的 GIS 局部放电检测与识别[J].电工技术学报,2014,29（10）：334- 340.

[9] 郭金鑫,陈玮.基于 HOG 多特征融合与随机森林的人脸识别[J].计算机科学,2013,40（10）：279- 282.

[10] 张培颖.多特征融合的语句相似度计算模型[J].计算机工程与应用,2010,46（26）：136- 137.

[11] 石祥滨,房雪键,张德园,等.基于深度学习混合模型迁移学习的图像分类[J].系统仿真学报,2016,28（1）：167- 173.

[12] 曾锐,陈锻生.结合双深度学习特征的高光谱遥感图像分类[J].小型微型计算机系统,2018,39（2）：396- 400.

[13] 夏梦,曹国,汪光亚,等.结合深度学习与条件随机场的遥感图像分类[J].中国图象图形学报,2017,22（9）：1289- 1301.

[14] 罗晓清，吴小俊，王土同，等． 基于二次融合多特征的多聚焦图像融合［J］． 数据采集与处理，2010，25( 4) :430-436．

[15] Hinton G E． Training Products of Experts by MinimizingContrastive Divergence［J］． NeuralComputation，2002，14( 8) : 1771-1800．

[16] Rao M B，Kavitha C H． A New Feature Set for ContentBased Image Retrieval［J］． InformationCommunicationand Embedded Systems，2013，1( 1) : 84-89．

1．目的及意义

1.1选题目的

局部特征描述符因为灵活地描述图像局部信息的细节内容，且对图像旋转、缩放、视角以及光照变化具有很强的鲁棒性，常用于图像显著区域特征的提取或关键点的描述。本课题的主要任务是利用已有的局部特征描述方法，融合多类特征对图像进行分类，设计基于支持向量机的分类器，比较不同方式描述下的单一特征和多特征对图像分类的影响，并对结果进行分析。

1.2局部特征描述概念

图像特征提取方法以及分类器的选择是影响图像分类精确度的关键因素。传统算法利用单一的图像特征和浅层结构对图像进行分类, 算法实现简单但结果精确度不高。针对这一情况，提出基于多特征融合和深度学习的图像分类算法。算法利用颜色矩、LBP和梯度直方图等算法提取图像的颜色、纹理以及形状特征, 继而通过融合算法将这些不同属性的特征进行融合, 作为深度学习网络的输入层。实验结果表明, 相对于单特征浅层分类, 算法在保证时效性的同时, 图像分类精确度得到了提高, 分类效果更加可靠^[1]。

1.3多特征融合概念

图像融合技术根据融合处理所处的阶段不同, 可以分为3个层次：像素层面的图像融合、特征层面的图像融合以及决策层面的图像融合。像素级融合的对象一般是原始数据, 通过信息的互补, 最大限度地利用原始数据；特征级融合通过特征信息如边缘、纹理、相似亮度等特征数据进行几何关联、目标识别以及特征提取。特征级融合便于信息实时处理和压缩, 剔除冗余信息的同时使各个单一特征信息进行互补^[2]。

1.4国内外研究现状

对图像局部特征描述的常用方法有：有向梯度直方图(HOG)、尺度不变特征(SIFT)、局部二值特征(LBP) 、加速的鲁棒特征(SURF)、梯度位置和朝向直方图(GLOH)、二值鲁棒的独立基本特征(BRIEF)、有向FAST和旋转BRIEF特征(ORB)、DAISY描述子等等，这些描述方法都有不同的适用范围，被广泛应用于图像分类、视频（图像）检索、目标追踪等任务中^[3]。