基于深度学习对运维时序指标进行异常检测，快速发现线上业务问题
时间序列的异常检测是实际应用中的一个关键问题，尤其是在 IT 行业。我们没有采用传统的基于阈值的方法来实现异常检测，而是通过深度学习提出了一种无阈值方法：基于 LSTM 网络的基线（一个 LSTM 框架辅助几个优化步骤）和无监督检测（神经网络和多种机器学习算法的组合）协同综合分析时间序列。当时间序列显示出清晰的周期性形态的情况下基线表现良好，而无监督检测在效率要求高且周期性不太清晰的情况下表现出色。通过两个并行模块的互补设计，可以在不依赖阈值设定和调整的情况下实现无阈值异常检测。京东云内部实践证明，我们所提出的无阈值方法获得了准确的预测和可靠的检测。
在过去的几年中，aiops业界提出了各种解决异常检测问题的方法。机器学习 (ML) 和深度学习 (DL) 颇受欢迎。在传统的 ML 中，通常采用 K-means、基于密度的空间聚类和隔离森林 (IForest)等聚类方法。除了 ML，由于其强大的逼近能力，使用深度神经网络 (DNN) 进行时间序列预测和异常检测被越来越多的算法同学使用。多层感知器 (MLP) 是一种基本的 DNN 架构，用于评估时间序列上异常检测的性能。此外，循环神经网络 (RNN) 及其变体，如长短期记忆 (LSTM) 网络和门控循环单元 (GRU) 是解决与时间序列相关的问题的常用方法。
对于大多数上述用于解决异常检测的方法，一般是时间序列是否超出预定义的上限和下限。然而，固定阈值无法表征具有内在动态趋势变化的时间序列，从而导致异常分析不准确。此外，由于单个阈值无法涵盖所有异常情况，因此该方法也容易遗漏异常。此外，设置上限和下限的过程是一项复杂且重要的任务，总是需要为各种情况定义新的阈值，耗时长且迁移性差。
为了解决上述问题，我们介绍一种新方法，即通过 DL 进行无阈值异常检测。
我们的方法不需要预定义上限和下限，而是通过抽取一些易于调整的参数，在小范围内自动搜索适配不同场景的监控数据，进而实现无阈值异常检测：基于 LSTM 网络的基线模块（LnB）和无监督检测模块（UnD）。具体来说，LnB 生成基线，该基线能够以自适应和自动的方式表征时间序列的动态特征。 LnB 的框架是用 LSTM 网络构建的，长短周期识别方法是此框架的贡献之一，它引入了一种纠正机制，可以实现更准确的拟合，生成的基线描述了检测到的时间序列的主要特征，提供了替代传统阈值的限制。 UnD是一种DL和多种ML算法的合并模型，基于投票机制从各个角度检测到的时间序列是否正常。两个模块中的任何一个检测到异常表明发生了异常。两个模块的融合使我们所提出的方法能够以互补和全面的方式有效地分析具有不确定性或各种周期性的时间序列。
时间序列X=(x1, x2, ..., xt),我们的目标是确定下一步 xt+1 的值是否异常。历史值有助于模型学习指标当前和未来的状态，但与预测值距离越近的点对模型预测的影响越大。因此，我们选择使用时间序列 Xt-T:t 的序列，而不是取时间序列的单个步长或整个历史序列来进行异常检测。 T 是选择作为模型训练输入的序列长度。下图1为无阈值异常检测的总体框架包括两个阶段，即训练过程和在线检测。
