基于解路径的非凸支持向量机增量式算法开题报告
2022-01-14 21:54:49
全文总字数:1814字
1. 研究目的与意义及国内外研究现状
在监督学习中,通过最大边缘训练,分类器的泛化性能得到了很大的提高,支持向量机就是一种基于最大边际的二分类模型。在存在噪音的环境下,标准的支持向量机算法可能会出现过拟合。软间隔支持向量机被提出用来解决这个问题,它允许样本以一定的代价被误分类。铰链损失由于其凸性和实用性成为软间隔支持向量机常用的代价损失函数。然而,根据铰链损失,被误分类的样本往往有最大的损失值,导致其在决策超平面中启主导作用。使用非凸的损失函数被证明能够有效地抑制错误分类样本的影响。然而非凸的支持向量机算法具有难以得到全局最小值等缺点难于求解,本文旨在研究如何实现高效的非凸支持向量机的增量式算法,并且确保能够到一个局部最优解,使得非凸支持向量机在一个具有噪声的环境下,得到一个较好的分类性能。
国内外研究现状
CCCP是一种很好的解决非凸问题的方法,通过线性化优化目标的凹部分,使其变成一个凸优化问题进而求解,在多次迭代后,可以得到一个较好的局部最优解。在此基础上,提出了一些系列的解决非凸支持机的算法。SeydaErtekin等人提出了一种在线支持向量机学习算法用来解决非凸支持向量机,但是无法保证其收敛性。
2. 研究的基本内容
解路径算法通过维护KKT条件在增量学习中更新模型的全部解,但是传统的解路径算法只适合凸优化,在非凸问题,KKT条件只能得到一个鞍点,无法保证得到一个局部最优解,本文研究解路径算法和CCCP算法相结合,希望能够得到一个能高效解决增量式非凸支持向量机问题的算法。
3. 实施方案、进度安排及预期效果
1月份完成算法设计。2月份实现算法,并进行对比实验,希望能到一个时间更快,分类效果更好的结果。3月份完成论初稿。4,5月份修改完善论文。
4. 参考文献
ertekin s, bottou l, giles c l. nonconvexonline support vector machines[j]. ieee transactions on pattern analysis andmachine intelligence, 2011, 33(2): 368-381.
yuille a l, rangarajan a. the concave-convexprocedure (cccp)[c]//advances in neural information processing systems. 2002:1033-1040.
gu b, yuan x t, chen s, et al. new incrementallearning algorithm for semi-supervised support vector machine[c]//proceedingsof the 24th acm sigkdd international conference on knowledge discovery data mining. acm, 2018: 1475-1484.