基于非负矩阵的缺失多视觉聚类研究文献综述
2020-04-14 17:14:39
随着科学技术的发展,数据的获取更加便捷和多样。数据的规模越来越庞大,其内容也越来越丰富。现实中的许多数据可以通过不同的视角进行观测或者通过不同的特征进行描述,这些数据通常称为多视角数据(Multi-view Data )。比如利用搜索引擎查询某对象时,在查询的网页中不仅包含该目标对象相关的文本、图像信息,还附带着与该目标对象相关联的超链接;又如一个视频既包含了图片信息又包含着音频信息。除此之外,对于同一数据源,利用不同的信息采集技术进行数据处理,得到的不同特征表示也可构成多视图数据,比如图像的尺度不变特征变换(Scale Invariant Feature Transform,SIFT)、方向梯度直方图(Histogram of Oriented Gradient,HOG)和局部二值模式(LocalBinary Pattern,LBP)特征构成图像对应的多视图数据。
多视角数据具有高维性,可以充分全面地描述目标对象,但这也给数据的处理和分析带来了挑战。随着数据维度的不断增加,分析和处理的复杂度、空间存储量将呈现指数型增长。与此同时,所需要的目标样本数目也随之迅速增加,引发维数灾难问题。因此,以多视角数据为对象的研究是机器学习领域的一个热点。
目前,多视角学习方法已被广泛应用到多视角数据聚类、多视角数据分类等场景中。其中聚类分析是机器学习和数据挖掘的中的经典问题。然而,在对多视角进行聚类时,通常需要视角成对、完整无缺失的数据集,才能使多视角数据聚类更为准确。由于存在数据收集的难度、成本或设备故障等因素的制约,高质量、无视角缺失的数据很少会出现在真实的应用中,普遍情况下多视角数据会出现一个视角数据缺失甚至是全部视角数据都不完整。人们无法从这些少量视角完整的数据中学习出很好的规律或有价值的知识,同时也对由多视角所刻画的对象进行准确分类变得更加困难。在现实中,数据的缺少会造成对未来的天气情况无法做出精确的预测、病人的病情无法被精确诊断、网页的分类无法有效进行等。因此,研究如何对缺失多视角数据进行聚类具有重要的意义。
1.2国内外研究现状
目前针对缺失多视角聚类的研究方法较少。 2010年,Trivedi等人首次提出缺失多视角聚类:使用一个视图的内核作为相似矩阵并使用拉普拉斯正则化补全其他不完整视图的内核。然而,这种方法要求至少有一个完整的视图。2013年,Shao等人提出的基于集成内核的缺失多视角数据聚类方法放宽了这个条件,他们通过优化数据集共享实例的对齐方式,共同完成不完整数据集的内核矩阵。但这种方法仅利用了两个视角间的相似性而忽略了互补性。2014年,Li等人提出了一种局部视图聚类算法(Partial view clustering algorithm, PVC)。PVC的工作原理是通过非负矩阵分解(NMF),建立一个潜在的子空间。2015年,Shao等人提出了不完全视图聚类算法(MIC)。MIC通过联合加权非负矩阵分解,得到了以L1正则规划多视角潜在的子空间。{title}
2. 研究的基本内容与方案
{title}本课题对多视角数据进行聚类,并且设计基于非负矩阵分解的缺失多视角数据算法。算法实现的平台拟采用MATLAB2016a,数据集使用多视图数据集Cal-101经典的数据集。评价参数拟采用聚类的精度(ACC) 和归一化交互信息(NMI)。
非负矩阵分解(NMF)是一种常用的数据聚类和特征提取的方法,并且拓展性很强。其主要特点是通过NMF所得到非负基矩阵和系数矩阵中,系数矩阵中包含原始数据中的有用信息。通过非负矩阵分解得到原始数据基于基矩阵的加权表示,而同一个视角的数据的系数矩阵应具有相似性。对系数矩阵进行k-means聚类就可以得聚类中心,即聚类标签。
由于采用非负矩阵分解的方法进行聚类忽略了每一个视角数据集所固有的几何形态,因此,本课题拟采用图正则化(GraphRegularized)方法对每一个视角进行正则化,处理过的数据作为非负矩阵的输入,通过不断地迭代求解目标函数的最优系数矩阵,通过对系数矩阵进行K-means聚类得到聚类标签。算法流程如图1所示。
图1 算法流程
本次实验采用的是 Cal-101 数据集,Cal-101数据库包含441个实例,分别从方向梯度直方图(Histogram of Oriented Gradient, HOG)、尺度不变特征变换(Scale-invariant feature transform ,SIFT)、局部二值模式(Local Binary Patterns,LBP)三个视角进行描述。3. 参考文献
[1] Shao, W, He, L, Yu, P.S. Multipleincomplete views clustering via weighted nonnegative matrix factorization withL2,1 regularization. In: Appice, A., Rodrigues, P.P., Santos Costa, V., Soares,C., Gama, J., Jorge, A. (eds.) ECML PKDD 2015. LNCS (LNAI), vol. 9284, pp.318–334. Springer, Heidelberg (2015). doi:10.1007/ 978-3-319-23528-8 20