文 献 综 述 视频数据中人物行为检测主要实现视频流中关键帧的提取确定，人物位置的确定，人物面部识别以及人物行为的检测和分析，人物行为检测在机场安检，视频监控，视频内容提取等方面有着广泛的应用。

人物行为检测首先进行的是人体骨骼关键点检测即Pose Estimation,主要检测人体的一些关节点，如关节，五官等。

由于人体具有相当的柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响，除此之外，2D人体关键点和3D人体关键点在视觉上会有明显的差异，身体不同部位都会有视觉上缩短的效果（foreshortening），使得人体骨骼关键点检测成为计算机视觉领域中一个极具挑战性的课题。

相关数据集 LSP（Leeds Sports Pose Dataset）： 单人人体关键点检测数据集，关键点个数为14，样本数2K，在目前的研究中基本上被弃用； FLIC（Frames Labeled In Cinema）： 单人人体关键点检测数据集，关键点个数为9，样本数2W，在目前的研究中基本上被弃用； MPII（MPII Human Pose Dataset）： 单人/多人人体关键点检测数据集，关键点个数为16，样本数25K； MSCOCO： 多人人体关键点检测数据集，关键点个数为17，样本数多于30W，目前的相关研究基本上还需要在该数据集上进行验证； AI Challenger： 多人人体关键点检测数据集，关键点个数为14，样本数约38W，竞赛数据集； PoseTrack： 最新的关于人体骨骼关键点的数据集，多人人体关键点跟踪数据集，包含单帧关键点检测、多帧关键点检测、多人关键点跟踪三个人物，多于500个视频序列，帧数超过20K，关键点个数为15。

传统算法概述 传统的人体骨骼关键点检测算法基本上都是在几何先验的基础上基于模版匹配的思路来进行，那么核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。

一个好的模版匹配的思路，可以模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。

Pictorial Structure是其中一个较为经典的算法思路，主要包含两个部分，其一是单元模版（Unary Templates），其二是模版关系（Pairwise Springs），对于模版关系，提出了著名的弹簧形变模型，弹簧形变模型，即对部件模型与整体模型的相对空间位置关系进行建模，利用了物体的一些空间先验知识，既合理约束了整体模型和部件模型的空间相对位置，又保持了一定的灵活性。

算法概述 多人人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而上的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI, CFN, RMPE, Mask R-CNN, and CPN，目前在MSCOCO数据集上最好的效果是72.6%；自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体，其中对关键点之间关系进行建模的代表性算法有PAF, Associative Embedding, Part Segmentation, Mid-Range offsets，目前在MSCOCO数据集上最好的效果是68.7%。

小结： 人体骨骼关键点定位至今仍然是计算机视觉领域较为活跃的一个研究方向，人体骨骼关键点检测算法还没有达到比较完美的效果，在较为复杂的场景下仍然会出现很多错误的检测结果。

自上而下的关键点检测算法在效果上要明显好于自下而上的关键点检测算法，因为自上而下的检测方法加入了整个人体的一个空间先验。