基于多阶级联姿态回归的局部遮挡人脸特征点定位研究文献综述
2020-04-14 20:06:43
人脸特征点定位是指自动标定出脸部特征点的位置,是研究和分析人脸图像的基础。然而在局部遮挡的人脸上定位特征点依然是一个难点问题。当脸部存在姿态、光照、表情、遮挡等变化时,人脸特征点定位仍然面临巨大的挑战,尤其是当人脸由于手、饰物、眼镜、发型等引起的局部遮挡,很大程度上增加了人脸特征点定位的难度。另一方面,在人脸存在遮挡或者姿态变化时,一级级联姿态回归对于局部人脸定位准确度仍旧不足。如姿态估计[1] [2]、人脸识别[3]-[5]、表情分析[6]-[8]等。然而由于姿态,遮挡等因素的影响,快速、准确、鲁棒的人脸特征点定位仍然是一个非常具有挑战性的问题。
近年来,受随机蕨在分类问题上取得的成功影响,Dollar P等人提出了一个基于随机蕨的级联姿态回归(CPR)的算法,并将其应用于人脸特征点定位[9]。CPR算法意识到当前形状特征对姿态估计的重要性,并通过级联回归模型进行姿态估计。在回归的每个阶段,该方法在多个随机生成的蕨回归器中选取就损失函数而言的最佳蕨作为回归器,并得到该阶段的姿态增量。多次迭代过后得到最终的姿态估计。此算法一经提出,由于随机蕨具有易于理解与实现、分类速度快且能够提供概率性的输出等优点,大量对于以随机蕨为基础的人脸特征点定位算法的研究应运而生[10]-[12]。
基于CPR,BurgosArtizzu等人[11]提出了鲁棒的级联姿态回归算法(RCPR),其首次将级联回归的方法用在包含遮挡的人脸上,并建立了CaltechOccluded Faces in the Wild (COFW)数据集,在此数据集中的人脸,每张标定了29个点,并且包括遮挡信息。RCPR算法将人脸划分成9个区域,在每一阶段从九个区域中的任意区域选取特征训练回归器,同时预测特征点的遮挡。上一阶段预测的遮挡信息化为权重调节当前阶段的回归器预测值,使得级联姿态回归对遮挡的检测结果具有更强的鲁棒性。
然而,该算法遇到错误的初始化姿态时,其特征点定位和遮挡检测的准确性则会大大降低。针对这一问题,潘艺云等人提出基于局部二进制模式的初始化算法[13],能够使上述方法获得较好的初始化姿态从而提高特征点定位与遮挡检测的准确性,该初始化方法由于需要将初始姿态与训练集中所有样本进行比较等操作得到作为回归器输入的初始化姿态。潘艺云等人进一步提出了基于纹理相关初始化和姿态初始化的鲁棒初始化算法[14],该算法通过初步定位脸部五个特征点分析当前人脸姿态,利用求得的人脸姿态结合平均脸求得姿态相关初始形状,并将姿态相关初始形状结合纹理相关初始形状得到鲁棒的初始化,该初始化在遮挡和姿态上都更接近人脸的真实状态。本课题研究在人脸鲁棒初始化基础上,采用多阶级联姿态回归和特征点自动矫正技术,提高人脸遮挡识别和人脸特征点定位的准确率。
参考文献:
[1]V.Drouard, R. Horaud, A. Deleforge, S. Ba, and G. Evangelidis, “Robust head-poseestimation based on partially-latent mixture of linear regressions,” IEEETransactions on Image Processing, vol. 26, no. 3, pp. 1428–1440, Mar. 2017.
[2]C.Bhagavatula, R. Aljadaany, and M. Savvides, “Pose estimation using spectral andsingular value recomposition,” International Conference on Pattern Recognition,pp. 4095–4100, Dec. 2016.
[3]R.Weng, J. Lu, and Y. P. Tan, “Robust point set matching for partial facerecognition,” IEEE Transactions on Image Processing, vol. 25, no. 3, pp.1163–1176, Mar. 2016.
[4]X.Fontaine, R. Achanta, and S. Ssstrunk, “Face recognition in real-world images,”IEEE International Conference on Acoustics, Speech and Signal Processing, pp.1–5, Mar. 2017.