1. 研究目的与意义（文献综述）

格斗类、生存类等游戏中为达到真实的体验，往往对游戏人物的动作仿真度要求很高。但是传统的方式，需要使用昂贵的人体动作捕获设备来采集人体姿态信息，然后通过后期模型处理移植到游戏人物身上。不仅成本高，设备穿戴复杂，而且后期处理工作量大，不能快速地塑造出游戏人物并还原真实的人物动作。我们提出一种基于实时2d人体姿态估计^[1]和生成式对抗神经网络^[4]采集动作信息并迁移到游戏人物身上的方法^[5]。

姿态估计的目标是在rgb图像或视频中描绘出人体的形状，这是一种多方面任务，其中包含了目标检测、姿态估计、分割等等。有些需要在非水平表面进行定位的应用可能也会用到姿态估计，例如图形、增强现实或者人机交互。关于人体姿态估计的研究，目前以cmu的openpose^[1]和facebook的densepose^[2]最为有名。openpose使用了非参数化的表示，定义为部分亲和力场（pafs），来学习图片中身体部位与整体的关系，允许贪心的自下而上解析姿态，无论图像中的人有多少，都能达到高的精度，同时实现实时性能。另外，该架构通过相同的顺序预测过程的两个分支来共同学习部位的位置及其关联。该方法首先应用于coco 2016姿态挑战库，实验结果显示其性能和效率都远远超过了此前mpii多人基准测试的结果^[1]。

2. 研究的基本内容与方案

基本内容：

1）通过阅读文献，了解人体姿态估计和生成式对抗网络的基本原理,研究现有的深度学习模型，同时比较其性能与在本课题中的可行性。

2）研究人体姿态估计和对抗网络生成游戏人物两个过程的具体实现及两过程的衔接，保证第一阶段的实时性能，改善第二阶段的人物动作真实性。

3. 研究计划与安排

第一阶段（第1周—第3周）：阅读参考文献，研究相关领域的最新技术，完成外文资料翻译及文献摘要撰写，并交予指导教师检查。

第二阶段（第4周—第9周）：明确系统设计思路，研究相关深度学习模型，通过实验采用合适的网络模型；进行数据集的制作，完成人体姿态估计与生成式对抗网络塑造游戏人物两个工作，并进行衔接；运用所学的数学以及计算机理论知识，针对应用场景对原始网络模型进行改进。

第三阶段（第10周—第13周）：实现模型的改进与系统演示，基于多款游戏制作多种数据集参与测试，测试算法性能，对算法的结果进行分析。

4. 参考文献（12篇以上）

[1] zhe cao, tomas simon, shih-en wei and yaser sheikh. realtime multi-person pose estimation. in cvpr, 2017

[2] natalia neverova , r#305;za alp güler and iasonas kokkinos. dense pose transfer. arxiv preprint arxiv:1809.01995v1 [cs.cv]

[3] p. isola, j.-y. zhu, t. zhou, and a. a. efros. image-to-image translation with conditional adversarial networks. in cvpr, 2017. 2, 3, 5, 6, 7, 8, 18