自2016年Gartner提出AIOps智能运维以来，诸多中国云计算、大数据和运维管理厂商都推出了AIOps解决方案，然而这些实践多是针对特定IT环境和应用场景进行智能化处理，放到其他行业或企业中就很难适用，这也限制了企业用户对AIOps的认知和尝试。
云智慧作为国内最早开始探索AIOps智能运维的独立解决方案提供商，在过去两年里陆续为数十家不同行业、不同应用场景的大型企业成功实施了智能运维，积累了丰富的智能运维应用场景和解决方案，并率先实现了AIOps智能运维的产品化、场景化和实用化。接下来这段时间，我们会为大家介绍云智慧AIOps智能运维平台的智能告警、根因分析、智能预测等产品模块，及其在不同用户场景的应用价值，希望为大家正确理解和选择AIOps提供参考。
企业IT系统运行过程中会产生海量日志数据、监控数据，这部分数据既满足大数据的属性，又隐藏着巨大的业务价值，因此企业进行AIOps实践多是从智能告警入手。今天我们就来介绍智能告警的第一个环节——告警抑制。
告警抑制典型应用场景
中大型企业的IT应用系统庞大而复杂，设备数量动辄成千上万，任何一个小小的IT问题都有可能引发“告警风暴”。所谓告警风暴是指在短时间内系统产生大量告警消息，这些消息有的是由某种共同因素引发，互相之间存在一定关联，有的则没有任何关系。
以云智慧服务的某大型企业为例，某次告警风暴产生时，平均每分钟800+条告警消息，运维人员每天接收各类告警消息多达2万条，导致运维人员疲于应付大量的告警消息，需要耗费更多时间排查和处理问题，大大降低了运维效率，而且由于无法第一时间发现根源问题，延误了故障处理时间，往往会给业务运行带来潜在风险。
压缩比高达90% 告警抑制功能特点
常规的运维监控产品都是根据固定阈值触发告警，这种监控方式会频繁遇到告警报错、漏报、告警风暴等问题，严重干扰运维人员的工作效率。云智慧AIOps智能运维平台的告警抑制产品针对海量的、持续的冗余告警消息，通过智能算法结合固定规则的方式对告警消息进行告警压缩和告警合并，在保证核心告警内容(即不压缩核心告警内容)的前提下抑制告警消息数量，为运维人员提供有效的告警信息。
云智慧智能运维平台告警抑制流程
我们把相同告警源产生的重复消息进行压缩的过程叫告警压缩，告警压缩是实现告警抑制的前提和基础，通过告警压缩可以减少70~80%的重复告警，并在此环节把告警消息(Message)生成为警报(Alert)。接下来，将不同告警源产生的警报按照规则、算法进一步合并的过程叫告警合并或告警收敛。通过告警合并，告警消息的压缩比可提升到80%~90%。
下面用几个实例来解释一下云智慧智能运维平台的告警抑制流程。
例1：告警压缩
用户利用 Zabbix 对服务器BJ_Pay_ngix_1进行监控，监控了 CPU Load，监控频率为10s。在13点24分开始触发 CPU Load 告警，并且持续了8分钟未恢复，整个期间产生了50条重复告警消息，通过云智慧智能运维平台的告警抑制，将50条消息压缩为1条警报(Alert)，并可以通过时间线功能，查看整个生命周期内的告警分布情况。
例2：告警合并(告警收敛)
主机BJ_Web服务1产生 CPU、内存使用率的告警，同时同一个集群的 BJ_Web 服务2也产生了 CPU和内存使用率的告警，通过告警压缩生成4个警报(Alert),通过告警合并将集群内所有警报合并为一个告警事件(Event)。当然，也可以基于业务线对业务告警、APM 告警等警报进行合并，然后通过时间线功能，查看多个警报之间的时间顺序，来初步判断告警的根因情况。
以上是云智慧AIOps智能运维平台告警抑制功能的基本原理，此产品不但能接入云智慧自有的监控宝、透视宝等告警源，还可以通过REST API 、Agent、URL 回调等方式对主流监控Zabbix、Nagios的告警数据进行接⼊，或根据客户需求对特定告警源进行定制化接入。此外，用户可配置各类抑制规则，设置 事件通知的分派策略，获得更高压缩比、更快速的智能告警。
如今，云智慧AIOps智能运维平台的告警抑制产品已经在金融、航空、地产、制造、政企等多个行业通过线上环境的生产验证。由于客户类型和业务系统的差异，实际压缩率可高达95%，并做到了核心内容零损耗。
告警抑制典型案例
某大型企业集团拥有在线商城、办公系统、财务系统等核心系统，涉及到多地多个机房和几十套应用子系统，频繁的告警消息对运维工作造成了极大干扰。为避免此类干扰，该集团的运维人员只能临时关闭若干系统的监控功能，但这种方式导致了业务系统与基础环境的监控缺失，无法有效实时掌控整个运维环境的运行。
云智慧工程师根据对历史故障的分析，把该企业的故障分为几类：
•闪断类：故障发生后迅速自愈
•重复类：单个对象的一个或多个指标持续告警
•范围性故障：某个区域或某个集群出现范围性故障，范围内的多个对象短期内同时出现告警
当以上几类告警在发生时，运维人员需要第一时间区分故障类型，才能快速定位问题。通过部署云智慧智能运维平台，利用REST API、Agnet 采集等方式对接各个监控系统，将告警消息进行统一汇聚和整合，然后进行有效的告警抑制处理，大幅降低告警事件的数量和告警发送的频率，同时提高了告警通知的精度。
某次故障发生后，某地数据中心短期内出现了上千条的告警消息，经过压缩合并后抑制成了几十条警报和不到10个事件，压缩率达到了95%以上。部署云智慧智能运维平台三个月以来，该企业运维人员每天接收告警数量从人均182条降低到了25条，同时整个运维团队的平均接手时间(MTTA)和平均解决时间(MTTR)都大幅缩短。
附注：Gartner于2018年7月13日发布的《Hype Cycle for ICT in China, 2018》中，云智慧成为AIOps领域的Sample Vendors。
|
