云智慧AIOps社区正式发布 国产开源再创新

8月26日，由清华大学软件学院、大数据系统软件国家工程实验室、云智慧举办的中国软件创新与智能运维峰会暨云智慧AIOps社区发布会在线上召开。

 

在会上，云智慧发布了摩尔（Moore）平台、Hours服务以及GAIA数据集，希望通过开源的力量，与社会更多力量一起打造AIOps社区。

 

云智慧AIOps开源社区：http://www.cloudwise.ai

 

常规的开源软件发布，往往仅仅发布源代码以及使用方法。但是，在AIOps社区的这次发布中，不仅包括了源代码，还包括了“数据x算法x算力”，实现了即可享受和价值流动，以快速释放研究者、开发者以及用户的潜能。

 

目前，云智慧已经开源了的项目包括：Data-Processer（便捷的、可配置化的测试数据生成器）和CW-Zabbix（一个性能优于Zabbix150倍的Zabbix衍生版本）。

 

本次开源软件则有：Moore（一套云服务管理平台，为开发者提供资源分配-环境管理-编码、部署，并支持开源服务、组件、算法的无缝接入）和GAIA（一个用于分析一场检测、日志分析、故障定位等运维问题的全量数据集）。

 

与此同时，云智慧也宣布即将开源FlyFish项目（一个分离了开发端与渲染端的数据可视化效率工具）。

 

 

01 智能运维是时代的必然选择

 

随着企业数字化进程的日渐深入，智能运维（AIOps）迎来持续高速增长。

 

海比研究和中国软件网调研了2000多家企业，其报告显示，截至2020年，其调查中中国企业需要使用和维护的APP数3个以上的占比高达69%。无论是企业还是政府机构，其开展业务所需使用的应用系统数量将保持持续增长。

 

如此高速的发展背后，伴随着两个现象：

 

一方面，从用户角度来说，服务体验越来越便利。无论是政务服务、金融服务、运营商、能源电力等大型企业，几乎各行各业信息系统都从内部支撑逐步走向直面用户服务，通过微信、小程序、APP等多种渠道提供“可直接触达”的服务体验。

 

另一方面，从系统运维角度来讲，应用系统的拓扑结构、IT架构、流程依赖越来越复杂，且从前端业务到IT最底层之间的通道越来越“扑朔迷离”。

 

当前端业务出现异常时，进行问题定位的排查过程会耗时耗力。如果不采用系统的方法进行信息系统管理，从管理者角度讲往往信息系统与服务能力越来越远。

 

中国开源软件推进联盟常务副秘书长宁固表示，企业IT架构日渐复杂，软件体量愈发庞大，IT运维逐渐从传统运维流程化管理向着平台化、智能化演进。IT从业者对IT工具、平台能力、解决方案、AI场景及可用数据集的需求在各行业迸发，国产软件的创新迫在眉睫。

 

海比研究和中国软件网对中国中型规模企业进行的调研表明，在2020年，54.1%的企业选择购买人工智能类应用，41.9%的企业选择购买大数据及BI类应用。这将继续提升系统复杂度。

 

 

运维走向智能化，是时代的必然选择。

 

与人工智能、大数据、区块链等等技术体系不同，智能运维并不是一项“全新”的技术，而是一个以智能运维场景为基础的智能技术应用和融合。

 

剥离开场景单谈“智能运维”不具有实际意义，智能运维的核心在于探索智能技术如何转化、服务、适配运维行业的发展、如何给运维行业带来解决问题的新思路。就像云智慧一直宣扬的那样，“以数据为基础、以场景为导向、以算法为支撑”，才是运维行业的取胜之道。

 

 

02 数字创新的开源趋势

 

在本次发布会的致辞中，宁固谈到，三年前，硅谷著名投资人马克·安德森曾说过：“软件将吞噬世界”。

 

然而，软件不一定会吞噬世界，但开源一定会开创未来。

 

以开源在新冠疫情中的表现为例，在开放开源协作平台 GitHub 上有超过 6000 余位贡献者参与和支持了超过 3000 多个 COVID-19 响应的免费及开源项目，这些项目已经被超过 14 万独立用户浏览超过 200 万次。

 

中国、法国、德国、印度、意大利、日本、美国、韩国、英国等国家和地区的开发者、专家和学者，积极参与了 GitHub 上新型冠状病毒肺炎疫情图、数据集、API、分析、应用开发等开源项目。可以说，当各国还处于各自物理隔离状态时，人类已经在开源世界里团结一致。

 

木兰开源社区运营负责人、中国开源云联盟副秘书长耿航表示，在未来，开源将与我们的企业、我们的生活联系更加紧密。

 

与此同时，开源在“十四五规划”中被首次提及，在我国开源已成为软件工程发展的大趋势。

 

 

仍然处在探索期的智能运维行业，想要在垂直赛道中脱颖而出，并且发展中实践着属于自己的商业模式及未来之路，与“开源”结合，或许是一条可行之路。

 

因此，云智慧在在会上宣布正式建立AIOps社区，旨在与各行业客户、用户、研究者和开发者们共同贡献及解决智能运维行业技术难题，建设健康共赢的AIOps开发者生态。

 

 

03云智慧 AIOps社区应运而生

 

在AIOps领域极速发展的背景下，IT工具、平台能力、解决方案、AI场景及可用数据集的迫切需求在各行业迸发。

 

在智慧运维的实现中，各方数据异常复杂，需要多方企业、组织和个人的共同努力，才有可能将数据收集完全。只有数据足够充足的前提下，才能搭建标准化和产品，实现既定的价值目标。

 

AIOps开源社区的建立可以聚集众多优秀的开发者，一起促进AIOps的可持续发展，切实解决运维创新发展中遇到的难题。

 

云智慧研发部总经理高驰涛在会上提到，一个开源的项目需要更全面的视角，这不仅是开放源代码和开发方法。

 

当“数据+算法+算力”成为一种带有开放治理和开放服务的开源软件，将能为应用AIOps体系及平台工具切实地解决运维需求的各类场景提供强劲的增长动力。

 

 

在AIOPs社区的构成中，不仅包含了AIOps用户社区，这一由内部用户、合作用户和外部用户组成的用户群体，还包括了内源社区和外源社区。

 

其中，内源社区由AIOps系统设计者、开发者及部分资深用户组成，技术产品及核心技术会尽最大可能开源，并接受贡献和反馈。而外部社区则联结外部开源社区，通过赛事、任务、涉及策略等，吸纳贡献，营造AIOps领域品牌。

 

具体来说，云智慧此次发布的三个重点项目为：

 

1、Hours开源服务，集合了多种算法和基础能力的算法平台

 

Hours 是一套基于云智慧AIOps核心能力的算法技术栈，对算法进行了抽象化和统一化，并形成了处理单元、算法、应用、数据、数据集、接口、工具等概念。

 

其甄选了六种AIOps常用算法详例说明：基于自动阈值的异常检测算法、同环比异常检测算法、固定阈值异常检测算法、基于标准差异常检测算法、基于频域分析的异常检测算法、线性回归预测算法。

 

Hours也是一套开发框架，在Hours的基础上进行算法开发，只需遵从Hours的设计逻辑，算法研究员无需考虑数据怎么读取、数据怎么预处理、怎么进行网站API接口封装、怎么进行可视化等等细节，只需专注于研究好用的算法。

 

在此次发布中，Hours的核心API均向社区注册成员开放使用。

 

 

2、摩尔云服务管理平台，大大提高开发者工作效率

 

通过摩尔平台使用Hour服务，只需要几行代码就可以快速实现服务体验。

 

摩尔平台作为云智慧AIOps社区中最重要的组成部分，不仅可为开发者提供AI数据标注服务、AI训练服务、MySQL基础服务、neo4j基础服务、Hours SDK服务、可视化数据平台等服务，还可为开发者提供资源分配、环境管理、编码、部署，并支持开源服务、组件、算法的无缝接入。

 

个性化服务需求以流程化的方式完成衔接，使开发者专注于业务需求的定制，大大提高开发者的工作效率。

 

 

云智慧智能研究院首席架构师王洪江表示，在5A+4S理论体系下，摩尔平台是是一个开放的平台，任何人都可以为平台提供代码和享受服务；

 

摩尔平台也是一个协作的平台，所有参与者都可以加入到平台的研发体系之中去，迸发平台活力；

 

摩尔平台还是一个技术创新能力超强的平台，应该拥有世界当前最先进的技术指标和技术创新能力，把世界先进的技术算法、先进理念都带到摩尔平台上来。

 

王洪江还在发布会现场提供了包括开发环境CloudIDE、CV计算机视觉、NLU

和智慧园区解决方案等摩尔平台案例。

 

3、全量数据集“GAIA”，是智能运维领域的苦活累活

 

著名学者李飞飞曾表示：“ImageNet 让 AI 领域发生的一个重大变化是，人们突然意识到构建数据集这个苦活累活是 AI 研究的核心。人们真的明白了，数据集跟算法一样，对研究都至关重要。”

 

基于云智慧多年行业实践及AIOps团队研究成果，全量数据集“GAIA”（GAIA-Generic AIOps Atlas）用于分析异常检测、日志分析、故障定位等运维问题，具体包含6500条实时指标数据，7,000,000行日志信息及对应的调用链数据。同时从智能运维算法体系中选择了典型的6个场景任务进行了描述和定义。

 

从AIOps领域来看，开源将推动整个行业做大做强；从整个软件产业来看，传统格局已经不能满足行业用户多样化的需求，AIOps领域的开源将有利于数字经济的创新发展。

 

虽然GAIA花费了云智慧智能研究院大量的心血，但云智慧也仅仅定义了智能运维算法体系中的很小一部分。至此，云智慧希望以此抛砖引玉，吸引行业内实践者、研究者、工作者共同为智能运维真正走向成熟贡献力量。

 

目前，GAIA已经在GitHub上开源：

https://github.com/CloudWise-OpenSource/GAIA-DataSet