摘 要

人类在积累足够多的基础知识之后，可以轻松的通过几个案例学习到新的视觉概念。在人类的快速学习能力的启发之下，希望机器学习模型在学习了一定类别的大量图像数据后，对于新的类别，只需要少量的图像样本就能快速学习，并能快速、准确地提取图像特征。

本文主要研究了基于小样本学习（Few-shot Learning）的图像特征提取算法。采用了基于相关网络（Relation Net）的小样本学习方法，相关网络用于学习比较查询图像与样本图像的之间的关系，通过该方法可以有效的提取图像特征并对图像进行分类。经过实验表明，本文设计的基于相关网络的小样本学习方法能够有效提取图像特征并对图像进行分类，分类的准确率达到了目前已有的小样本学习方法的平均水平，且准确率的波动范围更小，性能更加稳定。

关键词：机器学习；小样本学习；相关网络；图像的特征提取

Abstract

After accumulating enough basis knowledge, human beings can easily learn new visual concepts through several cases. Inspired by the fast learning ability of human beings, it is hoped that the machine learning model can learn a large number of image data in a certain category, and only a small number of image samples are needed for the new category to learn quickly and extract image features quickly and accurately.

This paper mainly studies the image feature extraction algorithm based on few-shot learning. Few-shot learning method based on correlation net is used to learn and compare the relationship between query image and sample image. Through this method, image features can be extracted and classified effectively. Experiments show that the few-shot learning method based on the correlation network designed in this paper can effectively extract the features of the image and classify the image. The accuracy of the classification reaches the average level of the existing few-shot learning method, and the fluctuation range of the accuracy is smaller, and the performance is more stable.

Key Words: Machine learning; Few-shot learning; Relation net; Image feature extraction

目 录

第1章 绪论 1

1.1 研究背景以及意义 1

1.2 国内外研究现状 1

1.3 本设计的研究内容及章节安排 2

第2章 原理 4

2.1 问题定义 4

2.2 模型 5

2.2.1 one-shot 5

2.2.2 few-shot 6

2.2.3 目标函数 6

2.3 网络架构 6

2.3.1卷积神经网络 6

2.3.2 卷积层 7

2.3.3 池化层 8

2.3.4 归一化层 8

2.3.5 全连接层 9

2.3.6 小样本学习的关系网络架构 9

2.4 本章小结 11

第3章 算法 12

3.1 任务生成器模块 12

3.2 训练算法 14

3.2.1 5-way 1-shot 14

3.2.2 5-way 5-shot 16

3.3 测试算法 19

3.3.1 5-way 1-shot 19

3.3.2 5-way 5-shot 21

3.4 本章小结 22

第4章 实验 23

4.1 本设计实验环境 23

4.2 Omniglot数据集 23

4.3 实验结果 24

4.4 本章小结 28

第5章 总结与展望 30

参考文献 31

致谢 33

第1章 绪论

1.1 研究背景以及意义

随着现代社会的发展，科技的进步，身份识别和鉴权的需求越来越高。传统的身份识别手段，例如密码，钥匙和ID卡等，在便利性、安全性和非接触性方面的缺点已经越来越明显，各种破解手段层出不穷^[1]。在这种大环境下，机器视觉识别技术应运而生。

在机器视觉识别领域中，深度学习（deep learning）取得了巨大的成功^[2,3,4]。然而，深度学习是基于深度神经网络模型、使用大量的标签样本进行迭代训练、进而更新神经网络模型中的参数而得。如果仅仅是使用少量的标签样本进行训练，由于数据集很小，迭代的次数不够，会使得深度神经网络得优化效果较差，甚至造成会深度神经网络出现严重过拟合^[5]。这将严重限制深度神经网络模型对新出现类的可伸缩性，从根本上限制了它们对新出现类（例如：新发现的动植物）或稀有类（例如：稀有动植物）的识别。相比之下，人类的学习能力要强得多，在积累一定量的视觉案例后，人类就可以在头脑中形成概念并应用于从未见过的新案例。例如：从未见过熊猫的小孩子能在几张图片甚至一段话中总结出熊猫的特点，能很好地进行泛化，进而能够识别其他图片中的熊猫。

由于传统的深度学习方法不能很好地在每个类上处理一个或几个样本，研究人员在人类的快速学习能力的启发之下，希望机器学习模型在学了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，并能快速、准确地提取类特征，这就是基于小样本学习（Few-shot Learning）的图像特征提取要解决的问题。

1.2 国内外研究现状

在过去的几十年里，我们见证了图像数据集的演变。早期数据集的大小相对较小。每个数据集通常收集成千上万的图像。代表性数据集包括 Caltech-101、 Caltech-256、 Pascal VOC、 CIFAR-10/100。如今，大规模的数据集提供了数以百万计的详细图像注释，例如 ImageNet和 MS COCO。有了这样规模的数据集，具有大容量的机器学习方法开始蓬勃发展，其中最成功的是基于卷积神经网络的机器学习方法。

与基于具有大数据集的机器视觉识别不同的是，基于小样本学习（Few-shot Learning）的图像特征提取算法的研究由于其固有的困难而受到社会的关注有限，目前仍处于发展的早期阶段。