论文总字数：18006字

摘 要

近年来，由于硬件技术的不断发展，深度学习领域涌现出大量相关成果。对抗生成神经网络（GAN）就是其中一个代表作，GAN采用生成器和判别器之间对抗的思想，不断优化生成器产生的图像，最后达到逼真的效果。基于GAN的思想产生了诸多应用，如人脸属性编辑，人脸替换，超分辨率等。

本论文主要阐述了使用相关算法（styleGAN, 自编码机, 神经网络架构搜索），结合已有的GPU资源，实现了一个高效的人脸替换系统。由于学习算法需要大量数据，本系统可以在输入一张目标图片的情况下，通过styleGAN进行人脸属性编辑，生成一系列人脸图片。把生成的系列人脸图片，以及需要替换的视频输入到变种的自编码机中，即可实现人脸替换。由于神经网络计算量大，本文尝试采用模型蒸馏，基于进化算法的模型架构搜索来降低模型的复杂度，从而实现高效的人脸替换。

实验证明，本系统可以实现逼真的人脸属性编辑以及人脸替换功能，同时采用神经网络架构搜索的方法大幅降低了算法复杂度。通过移植模型到Jetson Nano平台，程序能做到11fps的速度进行推断。

关键词：对抗生成神经网络；人脸替换；人脸属性编辑；神经网络架构搜索；进化算法

Efficient face replacement system based on generative adversarial network

Abstract

In recent years, due to the continuous development of hardware technology, a large number of related achievements have emerged in the field of deep learning. The Generative Adversarial Networks (GAN) is one of the representative works. GAN adopts the idea of confrontation between generator and discriminator, constantly optimizes the image generated by generator, and finally achieves realistic effect. The idea based on GAN has many applications, such as face attribute editing, face replacement, super-resolution and so on.

This paper mainly describes the use of related algorithms (stylegan, self coding machine, neural network architecture search), combined with the existing GPU resources, to design an efficient face replacement system. Because the learning algorithm needs a lot of data, the system can edit face attributes through stylegan and generate a series of face images when inputting a target image. The face replacement can be realized by inputting the generated series of face pictures and the video to be replaced into the variant self coding machine. Due to the large amount of calculation, the system uses model distillation, model architecture search based on evolutionary algorithm to reduce the complexity of the model, so as to achieve efficient face replacement.

Experimental results show that the system can achieve realistic face attribute editing and face replacement functions. At the same time, the neural network architecture search method greatly reduces the complexity of the algorithm.

Key words: Generative Adversarial Networks, faceswap, face attribute editing, Neural network architecture search.

目录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景和意义 1

1.2 开发环境 1

1.3 系统设计目标 1

1.4 论文结构 2

第二章 系统相关技术 3

2.1 生成模型 3

2.2 图像编辑 4

2.3 模型蒸馏 4

2.4 模型架构搜索 5

2.4.1 搜索空间 5

2.4.2 搜索策略 6

2.4.3 评价预估 6

2.5 TensorRT 7

第三章 系统设计 8

3.1 人脸检测 8

3.1.1 特征金字塔 9

3.1.2 上下文模块 9

3.1.3 损失头（Loss Head） 9

3.1.4 Anchor设置 9

3.2 人脸属性编辑 10

3.2.1 获取人脸标签 11

3.2.2 StyleGAN与属性编码 12

3.2.3 获得图片dlatent向量 13

3.3 人脸替换 16

3.4 网络架构搜索 18

3.5 模型最终效果 20

第四章 算法流程 22

4.1 人脸数据集生成 22

4.2人脸替换网络训练 23

4.3人脸替换网络推断 24

第五章 模型部署 25

5.1 模型训练平台 25

5.2 代码分析 26

5.3 部署环境 27

第六章 总结与展望 29

6.1 本文的主要工作 29

6.2个人总结 29

参考文献 31

致 谢 34

第一章 绪论

1.1 研究背景和意义

AI换脸技术在影视、医疗、出行等邻域能发挥更大的正面作用，可以使科幻电影更加逼真生动，可以降低影视拍摄中的意外分险，可以降低影视拍摄成本。到目前为止，现有的换脸应用还没达到令人满意的程度，有的只能用正脸变换，有的会改变用户脸型，导致换脸后非常不自然。本课题使发型和脸型不变达到换脸效果自然和谐，门槛降低，让更多的人享受到科技进步的乐趣，也满足了人们美颜社交等需求。

人脸交换是将目标图像中人的身份和源图像中另一个人的身份放在一起，同时保留头部姿势、面部表情、灯光、背景等属性。人脸交换引起了视觉和图形界的极大兴趣，因为它在电影创作、电脑游戏和隐私保护方面有着广泛的应用前景。

请支付后下载全文，论文总字数：18006字