摘 要

人的视觉系统在不断接受外界各种刺激的同时，总是能够忽略周围的无用信息，快速的定位感兴趣目标。这就是人的视觉注意机制，在计算机视觉领域针对此机制的实现与应用进行了大量研究，其中最基础的方向就是视觉显著性的研究。视觉显著性研究已经在图像和视频处理的许多领域取得了不错的成果，也有着很大的应用价值。在本篇文章中主要探讨视觉显著性在目标检测方面的应用，尤其是针对道路交通图中各类交通指示标记的检测方面的应用。

本文中的主要内容包括：依据模型的实现过程和原理，在MATLAB软件中编程实现了四种基于傅里叶变换的视觉显著性检测模型：SR模型、PQFT模型、HFT模型和FT模型，并在软件中运行测试了这四种模型在实际应用时的效果。此外，还测试了在不同道路交通状况下的检测效果，并在不同模型间进行了对比。针对测试时存在的问题进行了分析并总结了原因。

关键词：视觉显著性；目标检测；傅里叶变换；MATLAB

Abstract

While constantly accepting various external stimuli, the human visual system can always ignore the surrounding useless information and quickly locate the target of interest. This is the human visual attention mechanism. In the field of computer vision, a lot of research has been conducted on the realization and application of this mechanism. The most basic direction is the study of visual significance. Visual saliency study has achieved good results in many areas of image and video processing, and has great application value. In this article, we mainly discuss the application of visual saliency in target detection, especially the application of various types of traffic indication markings in road traffic maps.

The main contents of this article include: According to the realization process and principle of the model, four kinds of visual saliency detection models based on Fourier transform are programmed in MATLAB software: SR model, PQFT model, HFT model and FT model, and The software is running to test the effect of these four models in the actual application. In addition, the test results under different road traffic conditions were tested and compared between different models. Analyze the problems existing in the test and summarize the reasons.

Keywords: Visual saliency; Target detection; Fourier transform; MATLAB

目录

摘要 I

Abstract II

1绪论 1

1.1研究背景和意义 1

1.1.1研究背景 1

1.1.2研究意义 1

1.2视觉显著性的发展与研究现状 2

1.2.1基于空域的方法 2

1.2.2基于频域的方法 3

2视觉显著性及傅里叶变换 4

2.1视觉显著性理论基础 4

2.1.1视觉注意机制 4

2.1.2视觉显著性的生物学机制 5

2.1.3视觉显著性的心理学机制 5

2.2傅里叶变换 6

2.2.1连续函数的傅里叶变换 7

2.2.2离散傅里叶变换 8

2.3基于四元数的傅里叶变换 8

2.3.1四元数 9

2.3.2四元数的傅里叶变换(QFT) 9

2.4本章小结 10

3经典视觉显著性算法介绍 11

3.1基于频谱残差的SR模型介绍 11

3.1.1SR模型的基本原理 11

3.1.2实现过程概述 11

3.2 PQFT模型介绍 12

3.2.1相位谱法基本原理 12

3.2.2图像的四元表达 13

3.2.3PQFT原理及实现概述 14

3.3 基于多尺度频域滤波的HFT模型介绍 15

3.3.1多尺度频域滤波 15

3.3.2HFT模型实现过程概述 15

3.4基于频率调制的FT模型介绍 16

3.4.1FT模型的基本原理 16

3.4.2实现过程概述 17

3.5本章小结 17

4实验结果与性能分析 18

4.1实验环境介绍 18

4.1.1软件介绍 18

4.1.2运行环境介绍 19

4.2评价标准 19

4.2.1主观评价标准 19

4.2.2客观评价标准 19

4.3性能比较与分析 20

4.3.1SR模型的测试与分析 20

4.3.2PQFT模型的测试与分析 22

4.3.3HFT模型的测试与分析 23

4.3.4FT模型的测试与分析 25

4.3.5模型间对比分析 25

4.4本章小结 27

5总结 28

5.1全文总结 28

5.2未来工作展望 28

致谢 29

参考文献 30

1绪论

1.1研究背景和意义

1.1.1研究背景

目标检测这个课题是计算机视觉领域中最为基本的问题。其根本任务是采用某种目标识别算法和搜索策略,在任给定的图像中搜索识别特定目标在其中的位置和大小。但是近些年来，伴随着图像处理技术和视频采集技术的不断普及和图像的数据源飞速的增长。由此面对着怎样从庞大数据源中快速准确的提取所需信息的问题，这已经成为计算机视觉领域中一大研究热点。

根据心理学研究发现，人在观察某一复杂场景的图像时，会在秒级时间内快速找到图像中的“有用信息”（即显著目标），而自动忽略图像中“无用信息”。这就是常说的人类视觉注意机制。采用上文提到的这种机制，可以实现不需要针对特定目标进行很大数量的检测训练，就可以在视觉场景中比较快速的检测出所需的显著目标。这也大大提高了检测算法的适用性。

因此，为了使得人的视觉机制能通过合适的算法模拟出来，国内外的许多学者都提出了大量的相关的计算模型。这些模型包括: 基于认知模型、贝叶斯模型、决策理论模型、信息论模型、图模型、频域分析模型和基于模式分类的视觉注意模型^[1]。基于上面这些视觉注意模型，近年来提出了许多视觉显著性检测算法。例如，基于频谱分析模型的显著性检测算法，这类算法不仅仅在在形式上简洁，易于解释和实现。而且该模型采用快速傅里叶变换实现，实时性也很好。本设计更注重检测算法运行时时间效率，即要求算法的实时性要好。因此本文中主要对比分析基于频域分析模型，即采用傅里叶变换的视觉显著性检测算法，针对不规则形状（诸如各类交通标记符号）进行检测。

1.1.2研究意义

应用这种人类视觉机制的图像和视频处理算法，能够更加高效的分配计算机资源，得到跟符合人们期望的结果。所以，基于此显著性机制的算法已经在许多领域取得了很好的发展。例如，Stentiford用显著性判别图像区域的重要性，将裁剪窗口设定在平均显著性较高的区域，裁剪效果如图1.1所示。

这种基于视觉显著性的图像裁剪方法可以有效的保留图像中重要区域，获得更佳的裁剪效果。除了在图像裁剪上的应用，视觉显著性在检索图像、压缩图像和视频、目标检测与识别等方面都有很大应用前景。

图1.1基于视觉显著性的图像裁剪

本设计主要测试分析视觉显著性在检测不规则形状，尤其是各类交通标记符号的检测效果。针对各类交通标记符号的检测，有许多专用的检测算法，如基于颜色模型、基于形状模型的检测算法等。近年来也有许多应用机器学习、神经网络的智能算法被提出，但是这类算法都需要进行大量训练来达到较好的检测效果。在本文中将会分析比较了四种重要的检测模型在检测各类交通标记符号方面的有效性。

1.2视觉显著性的发展与研究现状

自1998年Itti等人提出显著检测模型IT模型开始，显著性检测开始受到大量关注。经过20年研究与发展，学者们提出了很多可以用计算机实现的模型。根据它们的计算域差异，可将这些显著性检测模型分为两个大类：基于空间域的显著性检测模型和基于频率域的显著性检测模型^[2]。下面将分别对基于这两类方法的模型的发展展开介绍。

1.2.1基于空域的方法

基于空域的方法最早是由Itti等人在1998年提出的基于生物视觉注意机制的模型^[1]。Itti的模型中采用特征融合理论，根据中央周边差异机制计算特征值，最后就能够获得显著图^[1]。IT模型率先用计算模型实现模拟人类视觉注意机制的工作，而且推动显著性检测领域的发展。2006年，Harel等人将Itti模型改进为基于图论的方法GBVS(Graph-Based Visual Saliency)。GBVS模型在提取特征时与IT模型相似，区别在于GBVS模型用马尔可夫随机场完成显著图的建模。Itti的方法和GBVS法的计算量都很大，尤其当图像分辨率高时，很难快速得到显著图。

2006年，Bruce等提出了一种基于信息最大化理论的信息最大化视觉注意模型(Attention based on Information Maximization，AIM)。该模型使用Shannon的自信息度量来在视觉显著性的维度上进行相关计算。虽然此种方法具有比较强的生物理论基础，但对处理自然图像并不好，结果也很粗糙^[2]。

M.M.Cheng等人受到Achanta的FT思路启发，提出基于全局对比度的HC算法和基于区域对比度的RC算法^[3]。HC算法首先在RGB色彩空间内对输入图像进行色彩统计分类，然后在Lab色彩空间对像素进行距离度量。通过平滑滤波减少颜色分类造成的噪声，最后通过改进LC算法计算图像的显著度。RC算法是采取先分割在计算的思想，首先将检测图像进行分割，然后再在分割后的区域内进行显著度的计算。

1.2.2基于频域的方法

此类基于频率域的方法中最经典的是侯等人提出的谱残差法(Spectral Residual，SR)。该方法将图像内容分为两部分：先验部分(具有统计不变性的冗余信息)和新颖部分(视觉显著性区域)^[3]。通过傅里叶变换后，利用相位谱中的信息进行计算，最终就可以显示出图像中新颖部分。该模型具有计算成本小、运行速度快的优点，但却具有没有考虑图像中的色彩分量信息的缺点。

2008年，Chenlei Guo, Liming Zhang等人在谱残差法基础上提出了相位谱法(Phase Fourier Transform，PFT)。该方法不再计算傅里叶变换幅度谱的信息，只利用相位谱来生成显著图^[5]。同时，对于谱残差法中缺少图像色彩分量的不足，PFT方法在计算彩色图像时，将PFT的方法结合四元数傅里叶变换扩展为PQFT( Phase Quaternion Fourier Transform)。

2012年，侯晓迪等人又提出一种IS(Image Signature)图像描述子方法。该模型主要分析图像前景背景分离关系，根据离散余弦变换(Discrete Cosine Transform，DCT)中的符号信息进行显著性检测^[2]。同年，Schauerte等人将DCT方法扩展为QDCT (Quaternion Discrete Cosine Transform)。

2013 年，Jian Li等人提出了基于多尺度空间的HFT模型。此法采用超复数傅里叶变换(Hypercomplex Fourier Transform)以及频域多尺度滤波的方法提取显著性区域^[7]。

基于频域分析的模型在频域中发掘特征，并结合频域滤波器来框定显著区域。这样做不仅计算简单、运行速度快、鲁棒性较好，而且运行结果也更符合人眼视觉结果，但是最终获得的结果不精确只能得到的大致的位置和形状信息。

2视觉显著性及傅里叶变换

2.1视觉显著性理论基础

视觉显著性检测(Visual saliency detection)指通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)^[9]。显著性检测究其本源就是用相关算法实现模拟人的视觉特点的目的即人类视觉注意机制，所以相关的神经生物学和心理学原理及规律在显著性检测算法中有着很重要的地位。所以本节将着重介绍视觉注意机制和视觉显著性生物学和心理学机制等相关知识。

2.1.1视觉注意机制

视觉注意机制(Visual Attention Mechanism，VA)，是指人们面对一个场景时，会自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域^[9]。在这些曲中中人们相对比较感兴趣区域被称之为显著性区域。通过视觉心理学的研究表明了人类主要有两种视觉系统选择性的注意机制具体来说就是自下而上(Bottom-up)的注意和自上而下(Top-down)的两种注意机制。

第一种注意机制的是由自下而上，其原理在于数据为原驱动力。这种注意机制也可被称为一种低级的认知过程。该注意机制计算原理是基于视觉注意力模型，因此当检测目标发生一些变化时显著性不受其影响。图2.1中展示了指导自上而下的注意机制的因素。图2.1左图中第四行第五列的颜色较浅条形和右图中第三行第四列的竖向条形能立即引起人们的注意。这解释了在自下而上的注意机制中，主要受颜色、边缘、亮度等和周围环境有较强差异或对比度的因素影响。

图2.1指导自上而下的注意机制的因素

第二种自上而下的注意机制，其原理在于以任务为原驱动力，这样的注意机制也可以被称为一个高级的认知过程。在具有不同的任务需求下来提取图像的显著性，根据预期对图像进行处理。最终得到显著性区域。如在图2.2的监控场景下，人更容易引起注意。

图2.2指导自下而上的注意机制的因素

2.1.2视觉显著性的生物学机制

人类视觉形成过程大致如下：首先物体的反射光线进入人眼，然后眼睛将反射光线的光能量转化为电信号。这些复杂的电信号在通过大量视觉神经的传导和处理后，最终在大脑皮层上形成了视觉现象。

灵长类动物的视觉信息传输过程相对来说十分复杂，在这一过程中还并存有着竞争融合机制。在竞争融合机制中，胜出刺激被凸显其他刺激被抑制。最终凸显出的信息成为显著信息。

视觉信息在大脑皮层中的逐层传输是一个串行-并行处理过程，信息被逐层筛选和处理^[8]。这一过程是自下向上的过程。但人眼视觉系统的信息传输过程不止是自下向上的传递机制，还存在着更复杂的体系。在自下而上的传递过程中，大脑还会根据任务、经验等先验知识对这一过程进行干预。在大脑高级区域的存储着很多先验知识，根据这些原理可以产生相关的控制信号，有倾向有目的的对低级区域进行有效干预。这种干预过程根据控制信号的传导方向被称为自上向下的处理机制。这两种不同的视觉注意机制同时存在于人眼视觉系统中。

2.1.3视觉显著性的心理学机制

关于视觉显著性所隐含在内的潜在心理学机制可以通过图1.1的例子来进行简单地说明。从这个例子中可知，视觉显著性与周围特征对比度有关。如颜色、纹理、形状等特征。这种心理机制就是对比度原理。此原理是自下向上的视觉信息处理过程的重要影响因素。对比度原理按照作用区域还可分为全局对比度和局部对比度两种。这两种对比原理往往同时作用，可以快速准确的定位显著目标。

在认知心理学领域，还存在许多有关视觉注意的理论和模型。这些模型从不同的角度去解释人的视觉感知。例如由Treisman提出的特征集成理论(Feature Integration Theory)，该理论将视觉信息处理分为预处理(Pre-attention)和注意(Attention)两个阶段。先是预处理时自动处理视觉特征，然后是Attention阶段对这些特征整合，后人对此理论进行了逐步的修改和完善。如Koch等人为更好的阐述视觉注意的发生和转移机制，在上述理论的基础上引入了胜者为王的神经网策略。

其他著名的视觉注意理论还有上世纪初奥地利和德国心理学家创立的格式塔理论(Gestalt)^[10]。在该理论中是这样阐述的，人类视觉系统在无意识状态下观察一幅自然场景的图片，前景物体区域会更加吸引视觉注意，对背景区域的注意程度则很差。神经科学的研究也表明，灵长动物的大脑对物体的感知很大程度上依赖格式塔理论。因此，想要用算法定位图像中人的关注点，应使该关注点的特征性明显高于背景。

虽然到目前为止，认知心理学、神经生物学等学科在视觉系统方面研究还无法彻底解释人类视觉系统的工作原理，但这些已经取得的研究成果在实际应用中还是获得了一定成效。相信未来对人类视觉系统的工作原理探究会取得更有效的成果，也将会有新的生物学心理学理论去支撑更高效的显著性检测算法的发展。

2.2傅里叶变换

根据已经学习过的高等数学知识可以知道，周期为T的函数的变量t连续，则可以被有合适系数的正弦和余弦和描述。此和就是傅里叶级数，它的形式如式(2.1)：

其中，

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：