本文转录自：北大博士后严川在云智慧AIOps社区举办的Meetup上进行的《AIOps指标相关算法体系》分享。

直播回放：戳此查看在线回放

PPT下载：戳此下载资料

智能运维算法场景概览

传统运维VS智能运维

传统运维：

特点：处理速度慢，人力需求大；在海量监控数据下，传统运维效率低下。

• 故障发现时间久
• 故障定位时间长
• 故障修复时间长

智能运维

特点：处理速度快、人力需求小；在海量监控数据下，智能运维效率高。

• 故障发现时间快
• 故障定位时间短
• 故障修复时间短

运维场景系统分析

智能运维场景系统分析

智能运维：运维场景+智能技术，其围绕着指标/日志/追踪/告警四要素及其转化的AI使能。

故障发现VS指标算法场景

指标异常检测场景

智能运维中指标异常检测的意义

在运维领域中，指标异常检测是其他智能运维场景建设的基础，异常检测的结果将为后续的告警压缩、故障定位、故障自愈等场景提供重要输入。

• 现有的监控告警系统大部分采用人工设定规则或阈值的方式来实现
• 中大型业务系统中会面临更多的KPI数量，更复杂的KPI间的关联关系，以及更多样性的KPI型态
• 运维领域中，人工设定规则或阈值的方法耗时且容易误报和漏报

智能运维中指标异常检测的应用场景

业务指标

• 接口访问量
• 用户数
• 响应时间

基础监控指标

• 主机系统指标：CPU利用率、内存利用率、IO利用率、温度、电压
• 数据库指标：慢sql数量、连接响应时长、缓冲区命中率、表空间使用率
• 中间件指标：socket数量、服务器响应时间、线程池使用情况
• 存储设备指标：磁盘使用率、控制器信息、风扇信息

运营指标

• 银行跑批业务
• 乘车码主被扫业务

时序异常监测在运维领域落地的困难

海量监控指标

企业的设备数、系统数众多，运维系统需要对海量指标进行监控，以保证企业服务的稳定运行。

KPI 的多样性

有监督异常检测算法对海量监控指标的成本高，当前只能从无监督视角进行检测，这对异常检测的准确性带来了更大的挑战。

某气象相关数据

异常类型多

异常类型包括“点异常”、“上下文异常”、“群体异常”、“缺失值”等

某银行系统业务数据

异常标准不一致

不同指标、资源配置、运维人员，对同一模式，可能会有不同的判断标准、不同的ground truth。算法需要适配不同的敏感度需求。

节假日活动管理

节假日和运营活动时，监控指标常会生成与常态不一致的模式，增加异常检测难度 。

指标异常检测的挑战

单一算法难以适配多种数据类型

数据异常vs业务异常vs调参

单指标异常检测常见算法

简单统计类

时序分解类

指标分类与指标异常检测相结合

解决单一算法无法适配多种数据类型问题

指标分类

常见的数据类型

指标分类中周期性检验的重要性

周期性数据在所有数据中占比不高（25%）， 但通常具有较高价值

检测数据：

1 是否具有周期

2 具有多少周期

3 每个周期成分如何

对于简化时序异常检测问题至关重要

单指标异常检测在真实数据上的应用

内存使用率数据

交易量数据

指标预测场景

运维领域时序预测的意义

运维领域：

是其他智能运维场景建设的基础（容量规划、异常检测、告警压缩、故障定位、故障自愈等场景）

运营和网络安全： 关注增长和需求

运维领域预测典型的应用场景

基础监控指标

• 主机系统指标：CPU利用率、内存利用率、IO利用率、温度、电压
• 数据库指标：缓冲区命中率、表空间使用率
• 中间件指标：socket数量、服务器响应时间、线程池使用情况
• 存储设备指标：磁盘使用率

运营指标

• 银行业务量
• 网络容量规划
• 乘车码主被扫业务

指标预测面临的挑战

单一算法难以适配多种数据类型

数据质量对预测结果的影响

常见的预测算法

统计类：

时序分解类：

指标预测分类的重要性

不同种类算法适用的数据类型不同 ，是否需要集成学习？

指标预测实例

磁盘占用率

系统CPU使用率

指标预测实际案例

某运营商运用实例

cpu使用率预测

关于Meetup

AIOps Developer Meetup是由AIOps社区推出的，面向广大开发者的系列线上直播及线下分享活动，我们将汇聚AIOps社区专家团的力量给你提供优质的技术内容，无论是技术解读、开源治理、行业解决方案，相信广大developers总能在这里找到你想要的内容。

AIOps社区是由云智慧发起，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播AIOps技术，旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题、推动AIOps技术在企业中落地、建设健康共赢的AIOps开发者生态。

最新Meetup预告