智能运维-从0搭建-AIOps-系统课件.pptx（41页）

1、智能运维：从0搭建AIOps系统目录目录概述：我们离概述：我们离AIOps理想王国还有多远理想王国还有多远1准备：以终为始，看准目标准备：以终为始，看准目标2启程：稳！构建启程：稳！构建AIOps大舞台大舞台3爆发：智能决策，决胜千里爆发：智能决策，决胜千里4我我们离们离AIOps理想王国理想王国还有多远还有多远是什么？怎么实现？还要多久？ 理想是什么？概述：我们离概述：我们离AIOps理想王国还有多远？理想王国还有多远？不背锅不起夜没有7x24小时概述：我们离概述：我们离AIOps理想王国还有多远？理想王国还有多远？ 理想如何实现？5W-1H分析法 理想如何实现？概述：我们离概述：我们离AI

2、Ops理想王国还有多远？理想王国还有多远？coding 实现理想还要多久？ 康波周期（康德拉季耶夫长波理论） Joseph Alois Schumpeter周期理 论概述：我们离概述：我们离AIOps理想王国还有多远？理想王国还有多远？概述：我们离概述：我们离AIOps理想王国还有多远？理想王国还有多远？ 实现理想还要多久？目录目录概述：我们离概述：我们离AIOps理想王国还有多远理想王国还有多远1准备：以终为始，看准目标准备：以终为始，看准目标2我是一个标题我是一个标题3爆发：智能决策，决胜千里爆发：智能决策，决胜千里4以以终为始，看准目标终为始，看准目标行业落地现状如何？目标是什么？什么是

3、AIOps基础设施三驾马车？准备：以终为始，看准目标准备：以终为始，看准目标BATXJATM 行业现状（第一梯队）XYZ特点：人多、人牛、钱多、体量大、起步早结论：追不上了准备：以终为始，看准目标准备：以终为始，看准目标XXX特点：重业务，从0到1开始有秘籍：Devops三十六计企业级 AIOps 实施建议智能运维：从0搭建大规模分布式AIOps系统 行业现状（第二梯队）准备：以终为始，看准目标准备：以终为始，看准目标自研开源 行业现状（第一、二梯队技术差 别）准备：以终为始，看准目标准备：以终为始，看准目标可用性 目标是什么？SRE稳定性可靠性性能：latency / rt / tps /

4、qps /并发度准备：以终为始，看准目标准备：以终为始，看准目标MTTRMTBF 目标是什么？可用性可用性（Availability）MTBF备注：MTBF：平均故障间隔时间 MTTR：平均修复时间+=准备：以终为始，看准目标准备：以终为始，看准目标 运维基础设施三驾马车monitoralertauto CI/CD感知感知执行执行目录目录概述：我们离概述：我们离AIOps理想王国还有多远理想王国还有多远1准备：以终为始，看准目标准备：以终为始，看准目标2启程：从启程：从0开始！构建开始！构建AIOps大舞台大舞台3爆发：智能决策，决胜千里爆发：智能决策，决胜千里4从从0开始，构建开始，构建AI

5、Ops大舞台大舞台从0开始构建：对症下药！数据为王！开源力量大！从从0开始！构建开始！构建AIOps大舞台大舞台VS理想 VS 现实25K12K大数据big dataa lot of data数据大人工智能machine artificialhuman bream智能人工机器学习machine learningrules规则引擎算法algorithmarchitecture工程 认清现状，对症下药数据采集标准、非标准、异构数据多数据源数据存储持久化存储、缓存、kv存储 还是关系型，大规模数据数据计算实时计算or离线计算，实时数据关联数据分析为最终结果负责，目标导向 数据为王（核心驱动）从从0开

6、始！构建开始！构建AIOps大舞台大舞台ConclusionFilebeat在资源利用率上具有优势，比较适合微博广告数据采集的应用场景 采集工具从从0开始！构建开始！构建AIOps大舞台大舞台示例：数据采集工具对比支持支持filter可以通过配置顾虑策 略，在数据搜集过程 对数据进行过滤数据准确性数据准确性可以通过OUTPUT端反馈，决定是否传播 数据，因此有可能出 现数据重复问题自自动流量控制动流量控制将根据数据消费端（ output）调整数据文件读 取速度 采集工具从从0开始！构建开始！构建AIOps大舞台大舞台示例：数据采集filebeat技术原理 采集工具从从0开始！构建开始！构建AI

7、Ops大舞台大舞台测测试试环环境境测试文件大小 ：单条日志大小 ：Kafka Partition: 10 Kafka required_acks =CPU核：1数据压缩方式：snappy 内存队列：10000性性能能测结结试果果机房：大白楼 总耗时：838sTPS：40805.75 条/s传输量：27.24Mb/s内存占用量：286MB total数据前置目标引导案例：为了进行故障根源诊断，缩小范围和快速定位问题，对其他团队进行必要的引导 数据采集采集器是否需要进行预处理？日志格式能否标准化？ 数据越多越好？运运维如何影响开发、产品？维如何影响开发、产品？从从0开始！构建开始！构建AIOps大

8、舞台大舞台原始数据存HDFS（从日志到标准化数据）离线模型数据存HDFS（Hive建模）处理后的数据存TS类数据库（grafite、druid、clickhouse等） 核心数据存强一致性数据库（mysql）热数据存缓存（redis、rocksdb、Aerospike、memcache等） 数据存储从从0开始！构建开始！构建AIOps大舞台大舞台从从0开始！构建开始！构建AIOps大舞台大舞台 Exactly once 精准度精准度通过checkpoint机制保证 数据计算性能指标实时系统秒级数据规模：超过20亿条/天关联准确率：98%实时系统支持任意的日志进行 切分、连接、 json转换、截

9、取、 unoin、join数值计算等25个算子 报警系统技技术选型术选型开源：zabbix核心思路核心思路规则引擎集成到监控平台 各环节高可用从从0开始！构建开始！构建AIOps大舞台大舞台核心思想核心思想统一代码管理（git/svn）统一权限管理（root）集成QA环境和自动化测试功能Immutable Infrastructure从从0开始！构建开始！构建AIOps大舞台大舞台 自动化CI/CD从从0开始！构建开始！构建AIOps大舞台大舞台monitor agentalert agentstorage proxy(request log, frequency log, etc.)aggr

10、egation /associationrealtime computingspark-streaming/storm/flink, etcvisualizationtime-serial engineonline learning model trainingquerylabel/taggingrealtime feedbackkylin/druid/clickhouse, etcHDFSmetrics features 整体架构messageQueueHDFSalert strategiesonline system/modules/platformCI/CD systemcachelog

11、sHeterogeneous dataalerttensorflow ps server目录目录概述：我们离概述：我们离AIOps理想王国还有多远理想王国还有多远1准备：以终为始，看准目标准备：以终为始，看准目标2启程：稳！构建启程：稳！构建AIOps大舞台大舞台3爆发：智能决策，决胜千里爆发：智能决策，决胜千里4智能决策，决智能决策，决胜千里！胜千里！AIOps初体验，AIOps的高阶技能智能决策，决胜千里智能决策，决胜千里 AIOps初体验异常检测基于统计模型基于邻近度基于密度正正态分布态分布（3sigma）案例：异常检验识别速率：秒 覆盖率：100% 准确率：90%效果：效果：智能决策，

12、决胜千里智能决策，决胜千里 AIOps初体验报警聚合AOI算法attribute oriented induction 基于属性的基于属性的归纳归纳归纳关键影响 某机器故障，引发发博文的异常案例：建立规则引擎进行报警聚合智能决策，决胜千里智能决策，决胜千里 AIOps初体验根因分析K-meansApriori算法关关联规则联规则决策决策树树案例：通过构建决策树进行根因分析智能决策，决胜千里智能决策，决胜千里 AIOps初体验关联分析案例：对不同类型指标进行关联分析基于走势相似度智能决策，决胜千里智能决策，决胜千里 AIOps进阶预 测智能决策，决胜千里智能决策，决胜千里 AIOps进阶预测 T

13、S数据基本特性Trend特性特性Seasonality特性特性CyclicalRandom案例：根据历史走势进行趋势预测智能决策，决胜千里智能决策，决胜千里 AIOps进阶预 测历史历史n个点走个点走势势历史所有点走势历史所有点走势加加权权ARIMA算法算法p AR/Auto-Regressive项，表示时序数据本身的滞后数d Integrated项，表示数据需要进行几阶差分化，才是稳定的q MA/Moving Average项，表示预测误差的滞后数实际值预测值平均误差率：4.839%基于ARIMA算法进行趋势预测效果：效果：案例：曝光趋势预测（配合报警进行动态阈值设定）2/3作为模型训练1/3作为预测实际值RMSprop算法作为权 重参数的迭代更新方案取8天历史数据进行训练，并按2:1拆分训练集和测试集效果：效果：总体误差率：0.97%平均误差率：2.839% 超过1.5CPM占比4%智能决策，决胜千里智能决策，决胜千里 AIOps进阶 LSTM智能决策，决胜千里智能决策，决胜千里 AIOps进阶预测更多资源Facebook，Prophet：https:/facebook.github.io/prophet/ Twitter，AnomalyDetection：https:/ Google，CausalImpact：https:/