摘 要

本文借助了MATLAB对常用的光谱预处理方法进行深入研究与分析对比，得到的结果对于当代用软件方法处理光谱数据有着重要的作用。

论文研究了常用的光谱数据预处理方法，主要研究了以下几个方面，选择和处理光谱数据、对噪声干扰进行消除、消除多种因素的影响。在经过研究之后，仿真了一种小波变换遗传算法阈值选取去噪方法。

将小波变换遗传算法阈值选取去噪方法与常用的光谱数据处理方法对比，研究结果表明这种方法在去噪方面具有更好的效果与更大的优势。

本文的特色在于对光谱数据处理方法的常用方法进行了研究，在MATLAB上仿真了小波变换遗传算法阈值选取去噪方法和其他常用的自适应小波阈值处理方法，并将它们进行了对比，表明了小波变换遗传算法阈值选取去噪方法在去噪效果方面的优势。

关键字：光谱数据处理；去噪；遗传算法；小波变换

Abstract

In this paper, the spectral data processing methods are studied and simulated with the help of MATLAB software, and the commonly used spectral preprocessing methods are deeply studied, analyzed and compared. The results obtained from the study play an important role in the processing of spectral data by software.

In this paper, the common spectral data preprocessing methods are studied, and the following aspects are studied, such as selecting and processing spectral data, eliminating noise interference and removing the influence of many factors. After research, a wavelet transform genetic algorithm threshold selection denoising method is proposed.

The results show that compared with the commonly used spectral data processing methods, this wavelet transform genetic algorithm threshold selection method has better effect and greater advantages.

The characteristic of this paper is that the common methods of spectral data processing are studied, and the threshold selection of wavelet transform genetic algorithm is proposed on MATLAB.

Key Words:Spectral data processing; denoising; genetic algorithm; Wavelet transform

目 录

第1章 绪论 1

1.1研究背景和意义 1

1.2 课题研究预期目标和具体内容 2

第2章 光谱数据预处理方法 4

2.1光谱数据预处理具体内容 4

2.2 选择和处理光谱数据 4

2.2.1 异常数据处理 5

2.2.2 数据增强算法 5

2.3 对噪声干扰的消除 5

2.3.1平滑算法 5

2.3.2傅立叶变换 6

2.3.3小波变换 6

2.4 除去多种因素的影响 6

2.4.1 导数法 6

2.4.2 标准正态变换以及去势法 7

2.4.3 多元散射校正法 7

第3章 小波去噪 9

3.1 概述 9

3.2小波去噪方法 9

3.3 小波阈值去噪及基于遗传算法的阈值选取 10

3.3.1 小波自适应阈值去噪 11

3.3.2 基于遗传算法的阈值选取 11

3.4 噪声处理仿真与分析 14

3.4.1 简单信号去噪仿真分析 14

3.4.2 光谱数据去噪仿真分析 18

第4章 结论 23

参考文献 24

致 谢 25

第1章 绪论

1.1研究背景和意义

利用物质所具有的特有光谱来鉴识物质和分析其组成成分以及相应的含量被称为光谱分析^[1]。光谱分析的优点是快速和准确率高。历史上有很多元素是通过光谱分析的方法发现的，例如铷、铯和氦等。用分析原理分类，光谱分析有发射和吸收光谱分析两种方法；用被测物质的形态来分类，可将其分为原子光谱分析与分子光谱分析。如果被测的是原子，则得到的是原子光谱，如果被测的是分子，则得到的是分子光谱。不同的原子所具有的特征谱线是不同的，可以利用其特有的特征谱线来确定其物质和含量。可以利用其发射光谱来进行光谱检测，也可以利用吸收光谱来进行光谱检测。光谱检测方法确定物质的最大优点在于其检测迅速、灵敏度高。因为在检测特征谱线时只需要少量物质，所以在所需检测物质含量很少时，光谱分析方法具有很大的优势。

随着科技的快速发展，在许多领域都有快速检测物质成分和含量的需求。比如，在世界恐怖主义阴云未散的情况下，许多恐怖分子携带的危险物质往往通过常规手段难以检测，安全检查往往需要一些新的技术；食品安全越来越受到重视的情况下，食品违法添加剂却更加难以快速检查出来；在环境安全越来越严峻的情况下，工厂的违法排放严重影响环境与大气安全；在生活和工作中都越来越需要一种能快速、准确地检测物质成分和含量的方法。也因此光谱分析方法也越来越受到重视，而作为光谱分析技术的关键技术，光谱数据处理方法也显得尤为重要。

现在社会科技水平飞速发展，在过去的时间中，光谱分析技术也不断地进步与发展，特别是近几十年随着计算机技术的发展，光谱分析技术也在飞速进步。最近几年，人工智能正快速发展，很多领域也随着人工智能的蜕变而焕发着新的光彩,光谱分析领域软件也随之得到了极大的扩展，因此，研究作为光谱分析核心的光谱数据预处理方法有着无比重要的巨大意义。

光谱分析的历史可以追溯到十七世纪。

1666年，牛顿进行的光学实验发现了光谱的存在。在他的实验里，牛顿让太阳光透过小孔然后再经过三棱镜，发现了光被分为了七种颜色，从而发现了光谱的存在。

1802年，英国科学家沃拉斯顿重新完成了牛顿的实验，他的实验与牛顿实验不同点在于，他没有使用小孔而是采用了狭缝，使阳光先通过狭缝后经过三棱镜的分解，不仅得到了像牛顿那样的连续光谱，而且还发现了光谱中的一些暗线。由于他的实验没能引起科学界的重视，所以并没有吸引主流科学界的注意。

1814年，世界上第一台分光镜由德国科学家夫琅禾费制造而成。这种分光镜是在沃拉斯顿狭缝和棱镜的基础上添加了准直透镜，这让通过狭缝的光成为了平行光。不仅如此，他还在棱镜后面加装了望远镜和光线偏折角度测量器。夫琅禾费利用油灯产生光线，经由狭缝进入分光镜，得到了一条条由细小光亮的谱线组成的光谱，他所得到的光谱也就是现在通常所说的明线光谱。通过他的近一步研究，他发现了油灯与太阳光所得谱线的不同，并绘制了光谱图。

1859年，一种火焰近乎透明、温度极高接近两千度的煤油灯由德国科学家本生研制而成。他利用这种煤气灯发现了焰色反应，即不同物质经过灼烧时，火焰的颜色会呈现不同的颜色。但仅凭焰色反应无法真正确定物质成分，因为不同焰色会互相干扰。在本生的朋友克希霍夫的建议和合作下，他们改用分析光谱来寻找检测物质的方法。他们用不同元素的焰色通过夫琅禾费分光仪得到了彼此互不干扰的明线光谱。又通过不同元素的混合物的焰色得到的光谱发现谱线之间互不干扰，由此找到了分析物质的方法——光谱分析法。

以前，我国光谱仪研究严重落后于世界水平，正因如此，我国光谱仪市场严重依赖于进口。在近些年，随着我国光谱仪市场在不断扩大，国内的光谱仪研究正在不断进步。中国制造正逐步取代进口产品。近几年我国光谱仪市场长期处于百分之七以上的增长中，在预计其2020年需求量会达到37.6万台以上。

根据外媒统计，国际光谱仪市场也在急速增长中，长期保持在百分之六每年的增长速度。2019年，光谱仪市场达到了96亿美元。无论是市场规模还是增长速度都表明，光谱仪具有广阔的未来。

需要承认的是，我国光谱仪技术与世界顶尖水平仍有差距。所以，对作为光谱分析的关键技术光谱预处理方法进行研究具有非常重大的意义。

1.2 课题研究预期目标和具体内容

本论文的预期目标是对常用的光谱数据预处理方法进行研究，并使用MATLAB对其进行仿真，实现光谱数据的处理。

本论文的研究具体内容为对现有常用的光谱数据预处理方法进行研究分析，将研究方向分为了三个方面，分别是选择和处理光谱数据、对噪声干扰进行消除、除去多种因素的影响。在去噪方面，对小波去噪方法进行了深入研究，仿真一种小波变换遗传算法阈值选取去噪方法，通过比较信噪比的标准来比较去噪效果的好坏。

本课题使用了MATLAB作为仿真工具还使用了其所带有的遗传算法和小波变换工具箱。

MATLAB是一种优秀的数学软件，在算法开发、分析数据、可视化数据、计算数值等方面有着强大的表现^[2]。

MathWorks公司出品了MATLAB作为商业数学软件，MATLAB主要被应用于开发算法、分析数据用于算法开发、分析数据、可视化数据、计算数值等方面。它作为一种高级技术计算语言和交互式环境，有着MATLAB和Simulink两个组成。

由matrixamp;laboratory拼接成了MATLAB这个名字，他的名字直译过来就是矩阵实验室。Mathworks公司设计出这个软计算环境主要是用来针对计算、交互和可视化方面的问题。在很多诸如工业、科学研究领域的数值计算和算法研究提供了一种新的方案，使其相比于传统语言的编辑模式有着非常大的优势。在主流的同类计算机软件中，MATLAB也处于顶尖水平。

世界三大数学软件分别是MATLAB、Maple和Mathematica。在数学方面，MATLAB可以实现矩阵运算、绘制函数和数据、实现算法、创建用户界面、与其他编程语言连接等。在工程领域方面， MATLAB可实现矩阵运算、绘制函数和数据、实现算法、创建用户界面、与其他编程语言连接等功能。还可以实现控制设计、信号处理与通信、图像处理、信号检测、财务建模设计与分析。

用MATLAB可以完成本次论文的仿真实现。

第2章 光谱数据预处理方法

在现实光谱数据的收集中，一般会不可避免地混入多种噪声信号，而噪声信号会干扰和影响光谱分析结果，影响对物质成分和含量的准确判断。为了解决噪声对此的影响，光谱数据预处理方法应运而生。光谱预处理方法要解决的几个问题主要有以下几个方面，选择和处理光谱数据、对噪声干扰进行消除、除去多种因素的影响^[3]。光谱数据预处理方法主要有两个方面的目的：第一，减弱和消除噪声信号等无用信号的妨碍，为提取有用信号做铺垫；第二，选择出能够代表元素的特征信号，为后续模型建立做铺垫。光谱数据预处理是光谱数据处理的核心之一，在整个光谱分析起着关键作用。

2.1光谱数据预处理具体内容

光谱数据记录的是光谱信息的离散波长及其光强^[4]。由离散波长和光强数据可以得到相关波长的峰值，从而来进行后续的定量分析。光谱数据预处理需要对原始数据进行变换来解决以下几个问题：

1. 误差问题。因为环境、人为、测量仪器存在着各种不稳定的情况，所测的光谱数据也不可避免地存在着不稳定性，单单的一次数据可能存在着极大的误差；
2. 背景光强问题。原子光谱或者离子光谱作为光谱分析的分析对象，会受到了高温等离子体的作用，在分子等各种因素的作用之中，光谱数据会受到干扰。在研究光谱分析的过程中，需要剔除背景光强^[5]；
3. 噪声干扰问题。测量得到的光谱数据中会混入各种各样的噪声信号，这对研究光谱波峰产生极大的干扰。在离散数据里准确地找到光谱波峰数据，是一个需要解决的难题；
4. 光谱数据预处理方法是用来解决上诉问题的，针对测量的有用光谱信号进行分析，消除或者削弱无用干扰信号，提炼出能够代表物质特征的谱线数据。去噪、消除其他因素影响、提炼特征数据是光谱预处理方法的核心部分。
5. 光谱预处理方法主要有以下几个方面；
6. 选择和处理光谱数据。除去一些明显有较大差异或者异常的数据；
7. 对噪声干扰进行消除。去除或者削弱噪声信号对光谱分析结果的影响；
8. 除去多种因素的影响。主要除去背景等因素的干扰。

2.2 选择和处理光谱数据

因为环境、认为、测量仪器存在着各种不稳定的情况，所以光谱数据也不可避免地存在着不稳定性，单单的一次数据可能存在着极大的误差。可以采用多次测量数据来求得平均值，进而消除异常数据的影响。为了使测的光谱数据的差异更加明显，采用增强算法来进行光谱数据的处理。所以在对测的光谱数据进行进一步分析之前，需要对光谱数据进行选择和处理。

2.2.1 异常数据处理

所谓异常数据是指，由于测量环境、测量仪器或者人为的问题，造成的远离实际的光谱数据。这种变化不是由待测物体本身的原因造成的，但是会对分析结果产生影响，所以被称为异常数据。针对异常数据，一般有两种处理方法。一种是测量多组数据，求其中的平均值；另一种是判断测量数据的有效性，从而来解决异常数据问题。一般来说，当满足多次测量条件时，采用第一种均值测量法，因为其具有简便准确的特点。在实际中，并不是任何时候都可以对实验物质进行多次测量，这时候就需要第二种方法。

1. 均值处理

在相同的条件下对数据进行多次光谱数据测量，对结果偏差用标准差来量化。

2、异常数据的识别与处理

与均值处理方法不同，这种方法没有多种测量数据来进行处理，它是对这种测量数据本身的一种识别与处理方法。它主要采用两种方法来进行异常数据识别，分别为技术法和统计法。

技术法针对已有的技术知识，对物质的物理和化学性质有了一定的认知基础之上，将数据与基础认知比，发现数据异常与否。统计法则是利用相似性质的参数来分析正态性，基于统计的方法来研究其数据异常与否，常用的方法有跳跃度法。

2.2.2 数据增强算法

在进行光谱分析时，要将待测物质的性质与光谱谱线的特征相关联起来。为了使光谱数据分析有更准确和理想的结果，一般采用数据增强算法来解决冗余和增强差异性。常常采用中心化的方法来进行处理。

中心化也被叫作标准化或者归一化。这些方法的中心思想是通过计算样品的平均值，将平均值作为光谱数据的被减数。这样处理以后，所有的光谱数据分布在零点两边。中心化后更好地反应出信息，增强了差异性。

2.3 对噪声干扰的消除

2.3.1平滑算法

通过测量所得到的光谱数据里面不仅包含着有用信息，还混杂着噪声信号。平滑算法对解决白噪声方面有着显著效果。常见的平滑算法有以下几种：

1、移动平均平滑法

这个方法选取了一个含有奇数个波长点的平滑窗口，计算这个窗口内数据的平均值，然后用平均值来代替窗口中心点的数值，由左到右计算直到结束。

该方法最关键的地方在于窗口宽度的选取，如果窗口选取过宽，会导致数据结果失真，丢失数据的关键信息。如果窗口选取过窄，则达不到平滑和去噪的效果。

2、Savitzky-Golay卷积平滑法

这种方法的基本核心思想与移动平滑法相似，不同的是，它没有使用最简单的平均而是采用对窗口内的数据进行最小二乘多项式拟合的方法。其核心在于加权，越靠近中心，权重越大。采用这种方法削弱了窗口宽度对此结果的影响。可以说这种方法是对移动平均平滑法的优化。

2.3.2傅立叶变换

傅立叶变换的核心思想是实现了频域和时域的转换，利用傅立叶变换来处理光谱信号实际上是将原始光谱数据分为不同频率正弦波的集合。利用傅立叶变换可以对光谱数据进行诸如插值、滤波和平滑的操作。当对光谱数据进行去噪、数据提取的时候，也可以使用傅立叶法。

2.3.3小波变换

傅立叶变换的基本原理与小波变换相通，不同的是，在保有傅立叶变换优点的同时，还保持了自身良好局部化的优点^[6]。因为这些优点，在压缩、平滑和降噪等方面，小波变换得到了大量运用，对此在下一章节会对小波变换作详细研究。

2.4 除去多种因素的影响

2.4.1 导数法

1、直接差分

直接差分法在离散波谱的求导中是一种常用简单的方法，其求导过程如下：

一阶：

（2.1）

二阶：

（2.2）

导数算法的目的是消除光谱数据谱线重叠的情况。

2、Norris求导

所谓Norris求导，实际上是为了消除噪声影响而被Norris提出的一种求导方式。这种方法先利用移动平滑法对光谱数据进行去噪，再进行直接求导。与直接求导法相比，Norris求导法消除减弱了噪声的影响，具有更大的优势。

2.4.2 标准正态变换以及去势法

标准正态变换即通常所说的SNV，使用SNV的目的是为了削弱粒度不均匀和其表面散射的对光谱分析的干扰^[7]。SNV的计算公式如下：

（2.3）

其中

去趋势算法是对光谱数据经过SNV后的后续操作，其目的是解决漫反射光谱的基线偏移问题，其方法是用光谱数据的波长及其吸光度拟合出来一条趋势线，然后再从原来的光谱数据减掉这条趋势线，来达到减弱漫反射光谱基线的漂移问题。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：