摘 要

电商的蓬勃发展，让实现商品图像自动分类成为一个急需解决的问题。本次设计中，选用Fashion_MNIST作为商品图像数据集，PyTorch作为深度学习框架。通过查阅文献资料，利用机器学习算法来完成商品图像分类的任务，构建了多个分类模型。主要研究内容为利用卷积神经网络实现商品图像的自动分类。

结合商品图像的特点，本次设计共构建了10个分类模型，包括LR模型、ResNet和RF模型等。本文对这些模型实现商品图像分类的原理进行了详细阐述，并选取合适的参数来构建分类模型。然后通过实验对这些模型的分类效果进行评估与分析。在本次设计构建的分类模型中，ResNet和DenseNet在商品图像分类准确性方面表现最为优异，模型对于10种商品图像分类的F1分数平均值达到0.918，最高训练准确率为94.3%，最高测试准确率为91.6%；随机森林模型的分类时效性最好，训练时间为23.2s，测试时间为0.3s，但分类准确性低于ResNet和DenseNet等卷积神经网络模型。

在此次研究中还发现，构建的10个分类模型对汗衫图像的分类效果最差，最优模型对汗衫图像分类的F1分数也仅有0.77，远低于其对10种商品图像分类的F1分数平均值0.918。另外随着分类模型复杂度的上升，其分类准确性不断升高，但这需要足够大的数据量来驱动模型。对于数据量不足的商品图像分类问题，可以优先考虑随机森林模型。

关键词：商品图像分类；机器学习；卷积神经网络；PyTorch；模型构建与评估

Abstract

The vigorous development of e-commerce makes the realization of automatic classification of product images that needs to be solved urgently. In this design, Fashion_MNIST is selected as the product image data set, and PyTorch is used as the deep learning framework. By referring to the literature and using machine learning algorithms to complete the task of product image classification, multiple classification models are constructed. The main research content is to use convolutional neural network to realize the automatic classification of product images.

Combined with the characteristics of product images, this design constructs 10 classification models, including LR model, ResNet model and RF model etc.. In this paper, the principles of these models to realize the classification of product images are described in detail, and the appropriate parameters are selected to build the classification model. Then the classification effect of these models is evaluated and analyzed by experiments. Among the classification models constructed in this design, ResNet and DenseNet have the best performance in the classification accuracy of product images. The average F1 score of the model for the classification of 10 kinds of product images reaches 0.918, the highest training accuracy is 94.3%, and the highest test accuracy is 91.6%. The classification timeliness of the random forest model was the best, with the training time of 23.2s and the test time of 0.3s, but the classification accuracy was lower than that of the convolutional neural network models such as ResNet and DenseNet.

In this study, it was also found that the 10 classification models constructed had the worst effect on the classification of shirt images, and the F1 score of the optimal model for the classification of shirt images was only 0.77, far lower than the average F1 score of 0.918 for the classification of 10 kinds of product images. In addition, as the complexity of the classification model increases, the accuracy of the classification model increases, but this requires a large enough amount of data to drive the model. For the product image classification problem with insufficient data, the random forest model can be given priority.

Key Words: Product image classification; Machine learning; Convolutional neural network; PyTorch; Model building and evaluation

目录

摘要 I

Abstract II

第1章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 2

1.2.1 商品图像分类 2

1.2.2 卷积神经网络 3

1.3 本文研究内容 4

1.3.1 基本思想 4

1.3.2 深度学习框架PyTorch 4

1.3.3 文章结构 4

第2章 线性商品图像分类模型 6

2.1 逻辑回归模型 6

2.1.1 逻辑回归与线性回归的关系 6

2.1.2 Softmax运算 7

2.1.3 交叉熵代价函数 8

2.2 梯度下降法 9

2.3 线性模型评估与分析 11

2.3.1 实验设备 11

2.3.2 数据集的选取 11

2.3.3 评估指标 11

2.3.4 实验分析 12

第3章 卷积神经网络商品图像分类模型 14

3.1 卷积神经网络 14

3.1.1 卷积层 14

3.1.2 池化层 15

3.2 优化算法 16

3.2.1 SGD算法 16

3.2.2 RMSProp算法 17

3.2.3 Adam算法 18

3.3 经典模型：LeNet5 19

3.3.1 LeNet5的构建 19

3.3.2 LeNet5评估与分析 20

3.4 深度卷积网络：AlexNet 21

3.4.1 AlexNet的构建 21

3.4.2 AlexNet评估与分析 22

3.5 甚深卷积网络：VGG 24

3.5.1 VGG的构建 24

3.5.2 VGG-11评估与分析 25

3.6 并行连接的网络：GoogLeNet 26

3.6.1 GoogLeNet的构建 26

3.6.2 GoogLeNet评估与分析 27

3.7 残差网络：ResNet 28

3.7.1 ResNet的构建 28

3.7.2 ResNet评估与分析 30

3.8 稠密连接网络：DenseNet 31

3.8.1 DenseNet的构建 31

3.8.2 DenseNet评估与分析 31

第4章 非线性商品图像分类模型 33

4.1 全连接神经网络 33

4.1.1 神经网络的构建 33

4.1.2 全连接神经网络评估与分析 34

4.2 随机森林 35

4.2.1 决策树 35

4.2.2 Bagging与随机森林 37

4.2.3 随机森林评估与分析 37

4.3 支持向量机 38

4.3.1 SVM的构建 38

4.3.2 SVM评估与分析 41

4.4 综合对比与分析 41

第5章 总结与展望 43

5.1 总结 43

5.2 展望 43

参考文献 45

附录A 48

附录B 51

致谢 54

第1章 绪论

1.1 研究背景及意义

AlphaGo在与李世石的围棋比赛中获胜，展示了人工智能的生命力^[1]。激起了一股人工智能的研究热潮，人们也迅速将注意力转移到了人工智能这项新技术上来。各行各业都在探索如何将人工智能技术应用在自己的领域。使得人类可以从重复的劳动中解脱出来。从而进一步提高产业自动化程度。很多专家学者认为人工智能技术可能会掀起工业界的第四次革命^[2]。为此我国提出了中国制造2025政策^[3]，以推进国家的智能化发展。

机器学习^[4]是现在的研究热点，被应用在数据挖掘^[5]等方面。深度学习^[6]是它的一个重要分支，对传统互联网行业有着深远的影响。深度学习已经在网络搜索^[7]、广告推荐^[8]等方面得到获得了较好的发展。卷积神经网络被广泛地应用于图像识别领域^[9-11]，它是深度学习中的一种模型。