论文总字数：19699字

摘 要

随着面部妆容成为一大部分人群生活的一个重要部分，用户快速试妆、自拍等需求加速了妆容迁移技术的产生和发展。尽管目前已有多种妆容迁移技术，但就效果而言，精准上妆的目标仍是具有挑战性的。

为了能实现用户快速精准上妆并且可以调整妆容浓淡的效果，本文通过分析比较现有模型，最终采用基于Glow的妆容风格迁移算法。用Glow对训练数据进行处理，使得处理后的数据达到标准基准的最大对数似然，具有易处理训练、可逆的优点，因此可以通过对Glow编码后的向量进行信息提取和插值实现妆容迁移和浓淡调整的目标。另外，此模型只需一张妆容风格图和一张用户素颜图作为输入便可生成用户妆容图，并且不需要再加用户对应妆容图片形成三输入训练模型，从而简化了模型的训练和使用。

实验结果表明，基于Glow的妆容风格迁移能够快速稳定地上妆，生成真实自然的妆效迁移图，并实现妆容浓淡调整。

关键词： Glow ；妆容迁移；图像处理

Abstract

Facial makeup has become a crucial part in a large quantity of people’s lives. Customers’ needs like trying makeup online, taking a selfie, etc. facilitate the birth and development of facial makeup transfer technic. Although there are various makeup transfer technics, in terms of the outcome, precise transfer is still challenging.

In order to reach the goal of fast and accurately transferring facial makeup and adjusting the effects at the same time, this paper finally tries to look into the makeup transfer algorithm based on Glow after analyzing and comparing the existing models. The training data that is processed by Glow is shown to reach the maximum log-likelihood on standard benchmarks, with the merits of easy processing and invertible. So that by extracting face information and interpolating the matrix in the latent space encoded by Glow, we could transfer makeup and change its effect. Moreover, this model only needs one makeup style photo and one customer natural-look photo, rather than three inputs with another customers’ according makeup photo. In this way, it is simpler to train and use this model.

The experiment shows that this makeup transfer model based on Glow can transfer specific makeup style in a short time and with low-interference from the environment. The customer’s makeup photo outputted by this model is authentic and natural. Also, this model is capable of adjusting the makeup effects.

Key Words：Glow; makeup transfer; image processing

目 录

第1章 绪论 1

1.1 研究背景和研究意义 1

1.2 国内外研究现状 1

1.2.1 基于传统图像处理方法的妆容迁移 2

1.2.2 基于深度学习方法的妆容迁移 2

1.3 研究内容和技术路线 3

1.3.1 研究内容 3

1.3.2 技术路线 4

1.4 训练和测试流程 5

第2章 基于Glow的妆容风格迁移算法 6

2.1 问题描述 6

2.2 Glow模型 6

2.2.1设计背景 6

2.2.2 Glow模型的设计 9

2.2.3实验与结果 10

2.3预处理—面部解析 11

2.4 提取面部信息矩阵的损失函数设计 12

2.5 Adam 对损失函数优化 13

2.6 数据后处理—面部融合 14

2.7 实验与结果 14

第3章 总结与展望 15

3.1 总结 15

3.2 展望 15

参考文献 17

致 谢 19

第1章 绪论

1.1 研究背景和研究意义

近年来，人们对于美妆的关注度日益上升，对于便捷试妆、上妆相机等需求也日益上升。层出不穷的彩妆品牌和产品，活跃在各网络平台的美妆博主，不胜枚举的自拍上妆系统软件都证明了美妆在越来越多人生活中的地位。对于个体而言，除了身形着装，第一眼给别人留下印象的便是面部。一个适合自己的妆容能快速遮盖瑕疵增加美感，改变整体的气质，凸显个人风格。在不同场合，相应的妆容甚至能成为最大的加分项。职业妆容体现的专业度和精气神，度假旅行装的机灵活泼，日常妆的舒适自然，红毯妆的大气亮眼等等都能为一个单一的个体快速打造出百变形象。因此，适合自己的妆容风格的选取非常重要。尽管人们可以去商场试妆，行程安排时间花费都令试妆这一过程有些得不偿失。不同的化妆产品在不同肤质上的效果的差异，使得消费者往往买错产品。并且，目前现有的自拍试妆软件并不能提供个性化的妆容风格迁移效果，甚至现有的一些迁移效果都显现出虚假度和违和感，使得人们很难快捷地感受自己想要的上妆效果。因此，方便精准的妆容迁移技术不仅是市场急需，也是消费者心之所向。

针对妆容迁移技术，传统的方法主要基于对图像的处理，对面部区域识别和不同算法的色彩迁移；而近些年来，随着神经网络的发展，尤其是生成模型的诞生，越来越多的模型框架都被用在妆容迁移上，例如Gan^[1]，Glow^[2]，CycleGan^[3]等等。相较于传统方法，通过神经网络训练出的模型给出的迁移效果更加逼真有益，试用性好，受遮挡物影响低。考虑到Glow模型编码解码器和可逆的设计能使得妆容迁移满足用于所需调整妆容效果，本文将应用Glow形成从图片域到向量域的映射，通过提取妆容信息的方法，达到妆容迁移的效果。

综上所述，通过基于glow的妆容迁移方法，可以实现一张用户图片和一张妆容风格图片作为输入，用户按需精准上妆效果图作为输出，满足人们对于妆容迁移的需求。

1.2 国内外研究现状

妆容迁移作为计算机视觉与图像处理领域较为新兴的研究方向，被应用于拍照软件、上妆网页、上妆设备等等，为消费者选择适合自己的妆容和购买化妆品提供方便。鉴于目前妆容迁移技术不够精准便捷和化妆品行业发展的迅速，此技术在未来仍有广阔的发展空间和应用场景。

现有的妆容迁移技术可大致分为基于传统方法的迁移（即应用图像处理方法实现的妆容迁移）和基于神经网络的迁移。应用范围有上妆、卸妆、妆容推荐、上妆效果等等。模型的训练集可分为早期的三元组（用户素颜图，目标妆容图，用户在目标妆容上妆后图）和简化后的二元组（用户素颜图，目标妆容图）。

对于现有妆容迁移效果的评价，目前模型几乎都是从定性和定量两个角度去评价的。定性是指对于相同的一系列测试图片，将不同模型下的运行结果展示出来，分析具体部位迁移效果及其原因。定量是指将上述相同输入时不同模型下给出的上妆结果给数个测试人员，通过测试人员的投票决定上妆效果的好坏。

1.2.1 基于传统图像处理方法的妆容迁移

基于传统图像处理方法的妆容迁移，是从图像的角度出发，对面部图像通过色彩、光等要素进行分解，再通过面部特征点识别对应五官，对于不同部分选择不同的迁移方法，最后融合面部得到迁移后的图像。

具有代表性的是Dong Guo 等人在 2009 年发表的论文 ^[4]中提供了一种模型实现了从带妆图片到素颜图片的妆容迁移。该模型以一张带妆图片和一张素颜图片作为输入。第一步，用Thin Plate Spline(TPS) 方法将两张面部图片对齐;第二步，将两张图片分为三层: 面部结构层、皮肤细节层和颜色层。 其中，先用CIELAB colorspace实现颜色层和亮度层分离。接着再用edge-preserving smoothing 方法将亮度层分为面部结构层和皮肤细节层。第三步，将带妆图片的每层分别迁移至素颜图片对应层。最后一步，用混合（ blending)方法融合这三层。 该方法实现了二元组（用户素颜图，目标妆容图）输入下优质的迁移效果，但是该模型对于面部角度和遮挡物非常敏感。因此，对使用者而言，输入图片的限制会降低良好的使用感。然而，基于神经网络方法将大大削弱此缺点。

1.2.2 基于深度学习方法的妆容迁移

基于神经网络方法的妆容迁移是通过设计神经网络来实现面部特征分类或妆容提取或上妆或卸妆。通过不同的数据集，对不同损失函数的约束，达到不同的目的。

Si Liu^[5]等在 2016年提出一个端到端的深度传输网络，该网络通过寻找数据集中与用户面部特征最相近的妆容图像并实现了自动推荐最合适的妆容并给出从参考妆容图片到未上妆图片的妆容迁移。此网络对粉底、唇妆、眼影都进行识别并用不同方法转移。经过定性和定量的实验结果表明妆容迁移效果比Dong在 2009 年提出的^[4]迁移效果更优，也能给出相对满意的推荐妆容。 2017 年，Alashkar T等人^[6]构造出一个范例规则指导的深度神经网络。该模型有两个假设条件:妆容通过面部特征来选择和范例指导规则由化妆界专业人士制定给出。此网络在接受用户图像的输入后将面部特征识别分类，然后作为输入传送至推荐网络，最后经过范例规则指导后给出推荐并对原图合成上妆。该论文也表明在收集来自四个国家，961名女性专业妆容前后的图片作为训练集训练出的推荐网络能给出很好的推荐效果。Chang H等在论文^[7]中给出PairedCycleGan模型以实现对肖像照片的自动上妆。该模型在Zhu提供的CycleGan基础上构建非监督的网络，以两个对称的上妆和卸妆函数为主体，通过设置四个损失函数对图像的面部特征和妆容特征进行保留，从而达到目标。除了上述提出的妆容迁移网络，Yamagishi K^[8]在 2018 年给出了基于 DOG 的算法，达到输入一张图片给出上妆效果的目的。由于上妆效果受肤色、亮度等的影响，该算法能给出较好的上妆后颜色、闪亮度等特征。但是，该模型是建立在一张图只使用一种化妆品的前提上，所以还不能适用于带全妆的图片。不过，关注上妆效果的细节对于精准上妆是有很大优化作用。Zhang H^[9]在 2019 年发表的论文中给出了DMT (disentangled makeup transfer)模型，相较于之前的单一参考妆容图片的迁移，该模型能实现多风格妆容、混合风格妆容、可调妆容的迁移。一个面部特征编码器，一个妆容编码器和一个能识别真假人脸的鉴别器构成了 DMT。注意力机制的应用提升了不同妆容迁移的精准度。 LADN 模型由 Gu Q等人^[10]给出，该模型核心是利用在一个内容风格的分离网络中的多个重叠的局部对抗性鉴别器以实现面部图像之间的局部细节传输，并使用不对称损失函数来处理具有高频细节的戏剧性化妆风格。该方法独特之处是局部对抗鉴别器可以在无监督的情况下，在跨图像风格转换中判断生成的局部图像细节是否与给定参考图像中的相应区域一致。实验结果表明 LADN 在传统风格和复杂和单调的风格都取得了新成果，高频细节覆盖了跨多个面部特征的大型区域。

Kingma D P和Dhariwal P ^[2]提出了Glow网络，该网络是在NICE^[11]和 RealNVP^[12] flow 模型的基础上开发出的一种新的 flow 模型。实验证明，Glow 极大地提高了标准基准下（指标准分布）的对数似然估计;由于它是以对数似然为目标进行优化的生成模型，能有效生成真实图片和调整大图。另外，考虑到Glow在图片域和向量域可通过编码解码互相转化的优势，可以通过对潜向量的变换实现了对妆容浓淡强度的调整。因此本文将用Glow对图像进行预处理然后进行妆容风格的提取与融合。

1.3 研究内容和技术路线

1.3.1 研究内容

鉴于国内外研究现状，本文做出如下总结：

请支付后下载全文，论文总字数：19699字

相关图片展示：