摘 要

随着科学技术的发展，计算机视觉在果蔬流通领域的应用越来越广，而且近几年深度学习开始逐渐应用到图像识别。深度学习与计算机视觉相结合，可以快速处理图片数据并获得很好的识别效果。本文对传统超市蔬菜区以及无人超市存在的问题进行分析后，提出基于深度学习与计算机视觉的果蔬识别系统的研究，本文的主要工作如下：

（1）对目前图像识别技术在果蔬识别方面的应用进行介绍，提出基于深度学习与计算机视觉的果蔬识别系统的研究，并指出研究的内容和方法，同时绘制出果蔬识别系统的技术路线图。

（2）对果蔬识别系统的硬件和软件进行介绍，利用PyCharm与OpenCV库的结合完成本系统在Windows平台上的搭建。

（3）对果蔬识别系统进行总体设计，使用两种方法采集果蔬图像，对图像进行尺寸归一化和数据增强后建立果蔬图像数据库，并根据VGG的结构设计出一个卷积神经网络模型。

（4）将果蔬图像数据库分为两个数据集data1和data2，使用数据集data1对模型进行训练，针对训练过程中出现的问题，在模型中加入L2正则化等优化方法，再对模型重新训练。使用数据集data2对模型进行微调，可以获得更好的识别效果。搭建和训练比较流行的ResNet50模型，并将该模型与基于VGG结构的模型进行对比分析。结果证明，基于VGG的模型识别效果更好，能够达到97.9%的准确率。

（5）对搭载模型的移动端的硬件和软件环境进行介绍，并将最优模型搭载在移动端，通过实例验证、经济性和环保性分析，证明所提出的果蔬识别系统的框架和识别算法是可行的。

关键词：深度学习；计算机视觉；卷积神经网络；果蔬识别

Abstract

With the development of science and technology, computer vision has become more and more widely used in the field of fruit and vegetable circulation, and in recent years, deep learning has gradually applied to image recognition. Deep learning combined with computer vision can quickly process image data and achieve good recognition. This paper analyzes the problems existing in traditional supermarket vegetable areas and unmanned supermarkets, and proposes research on fruit and vegetable recognition systems based on deep learning and computer vision. The main work of this paper is as follows:

(1) Introduce the application of current image recognition technology in the identification of fruits and vegetables, propose the research of fruit and vegetable recognition system based on deep learning and computer vision, and point out the content and method of research, and draw the technical roadmap of fruit and vegetable identification system.

(2) Introduce the hardware and software of the fruit and vegetable identification system, and use the combination of PyCharm and OpenCV library to complete the construction of the system on the Windows platform.

(3) The overall design of the fruit and vegetable identification system was carried out. Two methods were used to collect the image of fruits and vegetables. The image was normalized and the data was enhanced to establish a database of fruit and vegetable images, and a convolutional neural network model was designed according to the structure of VGG.

(4) Divide the fruit and vegetable image database into two data sets data1 and data2, and use the dataset data1 to train the model. For the problems in the training process, add L2 regularization and other optimization methods to the model, and then retrain the model. Use the dataset data2 to fine-tune the model for better recognition. The popular ResNet50 model was built and trained, and the model was compared with the model based on VGG structure. The results show that the model recognition based on VGG is better and can achieve an accuracy of 97.9%.

(5) Introduce the hardware and software environment of the mobile terminal equipped with the model, and put the optimal model on the mobile terminal. Through the example verification, economic and environmental analysis, the framework and recognition algorithm of the proposed fruit and vegetable identification system are proved feasible.

Key Words: deep learning; computer vision; convolutional neural network; fruit and vegetable identification

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1 研究背景及意义 1

1.1.1 研究背景 1

1.1.2 研究意义 1

1.2 国内外研究现状 2

1.2.1 国外研究现状 2

1.2.2 国内研究现状 2

1.3 研究内容及方法 3

1.3.1 研究内容 3

1.3.2 研究方法 4

1.4 论文结构安排 5

1.5 本章小结 6

第2章 果蔬识别系统的基本组成 7

2.1 果蔬识别系统的硬件结构 7

2.2 果蔬识别系统的图像采集部分 8

2.3 果蔬识别系统的软件结构 8

2.3.1 编程环境 8

2.3.2 OpenCV库 9

2.4 本章小结 9

第3章 果蔬识别系统总体设计 10

3.1 果蔬图像的采集 10

3.1.1 网络图像数据采集 10

3.1.2 自主采集图像数据 11

3.2 数据预处理 13

3.2.1 尺寸归一化 13

3.2.2 数据增强 14

3.3 卷积神经网络模型的设计 16

3.3.1 卷积神经网络的概念 16

3.3.2 卷积神经网络的特点 20

3.3.3 卷积神经网络模型的搭建 21

3.4 本章小结 22

第4章 卷积神经网络模型的训练与分析 23

4.1 模型的训练 23

4.2 优化方法研究 24

4.2.1 正则化 24

4.2.2 批标准化 25

4.3 模型的优化 26

4.4 评估指标 27

4.5 测试结果 28

4.6 不同模型对比分析 29

4.7 本章小结 30

第5章 实际应用分析 31

5.1 系统硬件配置 31

5.2 系统软件开发平台 31

5.2.1 运行环境搭建 31

5.2.2 OpenCV的调用 31

5.3 应用效果演示 31

5.4 经济性与环保性分析 32

5.4.1 经济性分析 32

5.4.2 环保性分析 33

5.5 本章小结 33

第6章 总结与展望 34

6.1 总结 34

6.2 展望 34

参考文献 36

附录 38

致谢 57

第1章 绪论

1.1 研究背景及意义

1.1.1 研究背景

在传统的菜市场和超市中，通常使用的是人工识别或者扫描条形码等方法对果蔬进行识别、称重并计算价格。但是这些方法会出现条形码纸张浪费的问题，效率比较低，并不符合智能超市的要求。后来，计算机视觉技术开始逐渐出现在人们的视野中，并不断被优化和完善。计算机视觉相对于人的视觉来说，测量精度高、自动化程度高并且稳定等，具有很大的优越性^[1]。其中，由于计算机图像处理和识别技术能够对图像的内容进行高效的提取和识别，逐渐被应用于果蔬识别中，从而实现果蔬的智能化分类。

在现代生活中，人工智能和物联网的发展使人们的生活走向了智能化。在一些大型超市中，比如沃尔玛，已经开始实行自助付款系统。“无人超市”在国内外也越来越流行^[2]，以生鲜农产品为主的无人超市中，一份份新鲜的水果、肉类和蔬菜等商品都被摆放在几组售货机内。每组售货机上都有一个操作屏，顾客只需要在操作屏上输入柜门和摆放位置的编号，屏上就会出现对应商品的价格等信息，然后顾客用微信或支付宝扫码支付即可。但是无人超市的售卖都是只按份数，而不按斤数，因此很不方便。如果可以按斤称重进行购买的话，对于消费者来说将会方便很多。

由于不同果蔬的形状和大小都不一样，因此对于果蔬的识别和分类是一个很有挑战性的问题。

1.1.2 研究意义

由于果蔬的形状和大小都不一样，所以其任务以及算法要复杂得多。此外，还需要将模型部署到移动端上，那么算法模型就要尽可能地精简。因此，从计算机视觉技术以及深度学习研究的必要性上考虑的话，研究果蔬识别技术具有积极的意义。除此之外，本文研究果蔬识别还有以下意义：

（1）设计出一个鲁棒性很好的果蔬识别系统来提高果蔬识别的准确性^[3]，具有很高的实用研究价值。

（2）通过设计一个果蔬识别系统，在系统识别出种类后，自动查询品种单价并配合电子秤的称重直接计算出价格，能够提高果蔬识别的智能化。

（3）果蔬识别系统能够快速识别出果蔬的种类，并且能够记录下每次识别的信息，因此可以建立起一个关于果蔬的数据库，为以后的使用提供了便捷和保障。

（4）通过设计一个果蔬识别系统，为我国计算机视觉技术在智能化农贸市场或者超市的应用研究提供了依据。

1.2 国内外研究现状

在果蔬的识别和分类方面，国外已经有了很长的研究历史，不仅进行果蔬表面的识别分类，还进行其内部的无损检测。相较于国外，国内对水果和蔬菜的识别研究比较晚，但是近几年来发展很快。

1.2.1 国外研究现状

二十世纪八十年代中期，国外开始利用计算机视觉对果蔬进行识别分类，由于当时计算机处理速度不够快，因此只能进行理论方面的研究。后来随着科学技术的进步，计算机的处理速度得到了很大的提高，促进了计算机视觉在水果和蔬菜识别方面的应用。

1996年，Bolle等^[4]开发了Veggie Vision智能果蔬识别系统，该系统主要利用各种直方图进行分类，并且可以识别任意摆放、任意数量的果蔬，但是该系统的识别准确率并不是很高。

2002年，Renato O .Stehling等^[5]提出了边界/内部像素分类（BIC），BIC依赖于以4×4×4 = 64色均匀量化的RGB颜色空间，经过量化后，图像像素被划分为内部或边界。

2009年，Rocha等^[6]提出了一个采用BIC、Unser以及CCV这三种特征进行融合的方法，这种方法只需要很少的训练数据，这样不仅可以简化训练的过程，还可以获得很高的识别准确率。

2010年，Arivazhagan等^[7]提出将HSV颜色模型中的V颜色成分用小波变换去分解，将H、S颜色分量的直方图作为颜色统计特征，这样处理后，用自相关矩阵作为纹理特征来进行果蔬识别。

2012年，Shiv Ram Dubey等^[8]在原有和差直方图纹理特征描述方法的基础上，设计了一套果蔬识别系统，结果显示，该系统的识别准确率能够达到99%。

2015年，Paul等^[9]将卷积神经网络与颜色直方图相结合，对不同角度和光照强度的水果和蔬菜进行分类，将3D的图像转换为2D图像，捕获颜色成分，同时保留关于颜色分类的相邻区域的信息，实现对象分类的必要视觉提示。

1.2.2 国内研究现状

我国在计算机视觉方面的研究比较晚，虽然目前我国计算机视觉在水果和蔬菜方面的研究相对较少，但近几年的发展很快。

2011年，大连理工大学的阳江平^[10]采用Gabor滤波提取果蔬图像的Gabor特征，然后用FLD和PCA进行降维，最后用SVM分类器进行分类。

2014年，陶华伟等^[11]采用BIC直方图和HSV颜色直方图对图像的颜色特征进行提取，通过最近邻分类器对果蔬进行分类，但是这个实验的图像数据仅仅考虑了光照强度这一个因素。

2015年，东南大学的虞玲^[12]针对单体和多体的果蔬分类，研究了果蔬的预处理算法以及特征提取算法。

2015年，王恒欢^[13]在研究DBN的基础上，提出了一种深度信念网模型，该模型在相邻领域混乱的有标签数据集小于无标签数据集的情况下，可以达到比较好的识别效果。

2016年，李思雯等^[14]将两个独立的卷积神经网络进行集成训练，可以提高对冰箱内果蔬的识别准确率。

2017年，曾维亮等^[15]提出了一种卷积神经网络，该网络用于处理智能冰箱内各种商品的识别问题，网络采用了ReLU激活函数，并且引入了随机Dropout。

2018年，罗琪^[16]基于卷积神经网络构建了一个水果图像识别系统，该系统最后的分类器采用的是softmax回归模型，取得了很好的识别效果。

1.3 研究内容及方法

1.3.1 研究内容

本文基于深度学习和计算机视觉，需要搭建一个卷积神经网络模型，并且将模型部署在移动端，实现在超市自助称重系统中对果蔬的类别进行自动识别分类。论文需要完成的工作主要有：

（1）果蔬识别与分类需求分析

本系统需要具备的功能是能够实现对不同类的果蔬进行识别并达到一定的准确率。在获得比较好的识别效果后，需要将模型部署在移动端，进行实际应用。

（2）果蔬图像的采集

果蔬图像采集的主要功能就是获取各种类别的果蔬图像数据。

（3）果蔬图像的预处理

因为直接从网上爬取的图像和自主采集的图像与果蔬识别神经网络模型的输入格式是不一样的，所以需要对采集的图像进行一些预处理后，再将图像数据输入到果蔬识别神经网络模型中。

（4）果蔬识别神经网络设计

这个部分是本系统中最核心的部分，本文利用深度学习中的卷积神经网络搭建果蔬识别的模型。

（5）神经网络模型的训练

当神经网络模型建立好之后，需要把预处理之后的果蔬图片数据输入到该神经网络模型中进行训练，同时要防止过拟合。

（6）模型评估分析

将果蔬图像输入到已经训练好的果蔬识别神经网络模型中进行测试，并对测试结果进行评估分析。

（7）实际应用

将模型部署在移动端并外接摄像头，把水果和蔬菜放在摄像头下面，对果蔬图像进行采集，并且在显示窗口实时显示果蔬的种类。

1.3.2 研究方法

本文研究的果蔬识别系统的技术路线如图1.1所示，其具体的研究方法如下：

图1.1 技术路线图

（1）图像采集

果蔬图像的一个部分主要由网络爬取的水果蔬菜类的相关图像构成，另外一个部分来自于自主采集的一些水果蔬菜的图片。在所有果蔬类别中选取了苹果、菠萝、香蕉、土豆、黄瓜等14个类别的果蔬图片总共7700张，每个类别中都包含550张图片，其中500张是爬取的，50张是自主采集的。

（2）图像预处理

在Python中导入OpenCV库，调用相关函数，对原图像进行尺寸归一化处理，全部处理成300*300像素大小。由于自主采集的图片不是很充足，所以需要对自主采集的图片进行数据增强处理，分别对其进行旋转和翻转处理。预处理完之后，按照水果和蔬菜的种类建立图像库。

（3）搭建神经网络模型

搭建好相关环境，安装Anaconda、PyCharm以及Keras库，并且设置好环境变量。搭建好环境之后，从Keras库中导入卷积神经网络模块，设计一个基于VGG的模型，并采用ReLU作为激活函数。除了搭建基于VGG的模型，还搭建比较流行的ResNet50模型。

（4）神经网络的训练

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：