1. 研究目的与意义（文献综述）

近年来，面部模仿技术在动画、影视等商业领域上的应用越来越多，需求强劲。如在许多科幻电影中，通过面部模仿技术将人脸表情复制到其他形象面部上，大大降低了拍摄难度；以及在许多游戏中，通过摄像头捕捉用户表情再复制到其他用户或卡通形象的脸上，实现“换脸”效果等。其本质是提取面部五官和轮廓特征，再通过训练将这些特征转移到另一张脸上，从而实现面部模仿效果。

面部模仿的最终目的是生成符合面部特征分布的图像。这正是生成对抗网络（gan，generative adversarial networks）[1,2,3,4]所做的工作。ian j.goodfellow等人于2014年10月在《generative adversarial networks》[4]中提出了一个通过对抗过程估计生成模型的新框架。框架中同时训练两个模型：捕获数据分布的生成模型g[4]，和估计样本来自训练数据的概率的判别模型d。g的训练程序是将d错误的概率最大化。这个框架对应一个最大值集下限的双方对抗游戏。可以证明在任意函数g和d的空间中，存在唯一的解决方案，使得g重现训练数据分布，而d=0.5。

既然是人脸模拟效果，gan的目的不再是单纯地生成与数据集相似的输出，而是要根据某一个输入生成相对应的输出，即一个带约束的gan（cgan, condition generativeadversarial networks）。mirza m等人在2014年的《conditiongenerative adversarial networks》[5]中提出了这项工作：在d和g的建模中均引入条件变量y，使用额外信息y对模型增加条件，可以指导数据生成过程。这些条件变量y可以基于多种信息，例如离散标签[5]、文本[6]甚至图像[7]。人脸模仿技术中的约束条件是通过人脸特征点定位技术（如姿态估计[8,9]、lbp[10,11]等）获得的一系列特征图。

2. 研究的基本内容与方案

基本内容：

1. 通过阅读文献，了解深度学习在人脸识别中的应用。研究并利用已有的人脸识别技术,实现人脸特征提取
2. 通过阅读文献，了解生成对抗网络和条件生成对抗网络在生成与数据集相似的输出时，涉及的各个过程和技术。分析比较各个方法的速度和结果质量。
3. 重点研究基于生成对抗网络的pix2pix技术，了解其内部的生成模型和判别模型结构。
4. 将pix2pix应用在人脸模仿任务上，实现动态人脸模仿。通过调整生成模型中编码器与解码器的层，提高输出的分辨率。

目标：

3. 研究计划与安排

第一阶段（第1周-第2周）：查阅有关的参考资料并完成开题报告；翻译英文资料（不少于5000汉字），并交予指导教师检查。(2019.2.28)

第二阶段（第3周-第6周）：阅熟悉所选用的实现平台，运用所学的编程技术，完成整个实验实现的前期设计工作。(2019.4.1)

第三阶段（第7周-第13周）：进行实验的编码、调试、训练、测试工作。(2019.5.29)其中第10周左右(2019.5.4-5.8)进行毕业设计中期检查，需要提交论文前三章和毕业设计框架。

4. 参考文献（12篇以上）

[1] j. long, e. shelhamer, and t. darrell, “fully convolutionalnetworks for semantic segmentation”, cvpr, pp 3431– 3440, 2015. 1, 2, 5.

[2] simonyan k, zisserman a, “very deep convolutionalnetworks for large-scale image recognition”, computer science, 2014.

[3] e. l. denton, s. chintala, r. fergus, et al, “deepgenerative image models using a laplacian pyramid of adversarial networks”, nips,pp. 1486–1494, 2015. 2.