1.1国内外的研究现状分析及背景

随着互联网特别是移动互联网的高速发展，web服务已经深入到了社会的各个领域，即人们使用互联网进行搜索、购物、付款和娱乐等等。因此，保障web服务的稳定已经变的越来越重要。 服务的稳定性主要靠运维来保障，运维人员实时监控各种各样的运维数据。因为运维数据如果发生异常，往往意味着与其相关的应用发生了问题。其中，关键性能指标（Key Performance Indicator，KPI）是实时判断web服务是否稳定的重要风向标之一，一直受到广泛的重视。通过算法分析真实运维环境中的KPI等时间序列数据，判断系统是否出现异常行为，保证系统稳定运行，这同时兼具商业价值和科研价值。

目前国内外的研究现状中，对于时序数据的异常检测，由于数据的特征不同且存在各种各样的曲线类型，且数据维度也存在单变量和多变量的区别，目前存在针对于各种时序数据特征的机器学习异常检测算法，可以分为以下类型及对应存在的解决办法：

(1)针对周期型时序数据的异常检测算法：这种数据有规律地周期性波动，可以使用时间序列分解算法，这两种时间序列分析算法，就是根据有序随机变量或观测得到的有序数据之间相互依赖所包含的信息，用概率统计方法定量地建立一个合适的数学模型，并根据这个模型对相应序列做出预报或进行控制。

(2)针对稳定型时序数据的异常检测算法：这种数据无规律波动，但正常基本在一个较小的波动范围内，可以使用静态阈值方法，该方法使用恒定阈值解决，超过设定阈值就报警。比如拒绝数监控，我们可以设定在一个单位时间内超过n个拒绝就报警。但是，实际使用中会出现单点毛刺的问题，也就是一个单点超过阈值的报警;移动平均法，权重移动平均法，这两种移动平均方法用于估计时间序列的趋势和周期，简单来说就是用数值前后k个时间点的值的平均值来代替当前值；ARIMA方法，这种方法对于稳定型的时序数据效果较好，但是只适用于季度或者月份为季节性周期的稳定时间序列数据。

(3)针对不稳定型时序数据的异常检测算法：针对不稳定的时序数据，这种数据的长期波动幅度较大，但正常情况下短期的波动幅度较小，体现在图像上是一根比较光滑的曲线，不应该有突然性的上涨或者下跌。解决这类数据可以采用极值理论的思想，这种方法的好处在于不需要手动设置阈值，根据模型求的每时刻数据的极大值和极小值来检测出数据的突升或突降。

(4)针对异常数据量太少的时序数据的异常检测算法：针对这类时序数据可以采用异常注入的方法进行异常检测。

以上是目前国内外存在的一些解决时序数据异常检测的方法，但是它们的异常检测算法仅是针对特定类型的时序数据，然而在面对时序数据的异常种类、曲线的多样性、时序异常检测参数配置成本高等问题时，是否存在一个通用的、不需要调算法、不需要调参数的通用异常检测系统呢？在实际生产环境中，异常检测系统的痛点就是异常检测算法的选择以及算法参数的调整，这个过程往往耗费大量的人力和时间，但是往往效果无法达到预期，针对这类难题设计，清华大学NetMan实验室近期在异常检测领域的研究成果：基于机器学习的KPI自动化异常检测系统，该系统通过将异常检测问题转换成了机器学习中的监督式分类问题，使用运维人员的标注数据，在历史数据中训练出分类模型来自动构建异常检测系统，从而解决了异常检测器的选择和算法参数调整的难题，为复杂检测器的实际应用提供了自动化的框架。

KPI时序数据异常检测在实际工业系统中变得越来越重要。由于实际中有各种不同类型的 KPI曲线需要维护，所以需要为不同类型的 曲线选择合适的异常检测器以及合适的算法参数，大多数的框架都只针对了某些特定的时序数据，一旦数据特征发生变化，它们的表现就会很差，这仍然是现今需要解决的问题。

1.2目的及意义

本次研究的目的：本研究通过对运维环境中时序数据的异常检测方法的研究与实现来达到以下四个目的：

• 对运维环境中的真实数据进行深入了解，提取特征，选择合适的异常检测算法；

• 设计实现时序异常检测算法对运维数据进行异常检测，优化算法，提高时序数据异常检测的效果；

• 培养严谨的治学态度，以及能够独立查阅、学习文献资料的能力，具有一定的科技写作能力；

• 培养应用理论知识解决实际问题的能力，为进一步学习和走上工作岗位打下一个良好的基础。

本次研究的意义：通过对该课题的研究，希望针对各种不同类型的KPI曲线设计出一个通用的异常检测算法来提高检测效果，进行一次综合运用所学理论和技能的训练，进一步提高分析问题和解决问题的能力。