IT运维分析与海量日志搜索分析.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《IT运维分析与海量日志搜索分析.pptx》由用户(无敌的果实)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- IT 分析 海量 日志 搜索
- 资源描述:
-
1、IT运维分析与日志搜索分析引擎案例分析提纲 IT 运维分析(IT Operation Analytics)不同数据源及解决方案对比 日志处理技术的演进 日志搜索分析引擎详解 日志搜索分析引擎案例IT 运维分析 从 IT Operation Management(ITOM)到 IT OperationAnalytics(ITOA)大数据技术应用于IT运维,通过数据分析提升IT运维效率 可用性监控 应用性能监控 故障根源分析 安全审计 Gartner估计,到2017年15%的大企业会积极使用ITOA;而在2014年这一数字只有5%I TOA 的四种数据来源 机器数据(Machine Data)日志
2、 通信数据(Wire Data)网络抓包,流量分析 代理数据(Agent Data)在.NET/Java/Ruby/Python/PHP 字节码里插入代码,统计函数调用、堆栈使用 探针数据(Probe Data)布点拨测 在各地模拟ICMP ping、HTTP GET请求,对系统进行检测I TOA 四种数据来源使用占比100%90%80%70%60%50%40%30%20%10%0%93%86%72%47%machine data(日志)wire data(网络抓包)agent data(插入代码)probe data(模拟检测)I TOA 四种数据来源/解决方案比较 机器数据(日志)旁路 日
3、志无所不在 但不同应用输出的日志内容的完整性、可用性不同 通信数据(网络抓包)旁路 网络流量信息全面 但一些事件未必触发网络流量 代理数据(嵌入代码)侵入式 代码级精细监控 对C/C+无效 带来安全、稳定、性能问题 探针数据(布点拨测)旁路 端到端监控 只是模拟,不是真实用户度量(Real User Measurement,RUM)I TOA 解决方案厂商(1)机器数据(日志)Splunk ELK 日志易 通信数据(网络抓包)Netscout 科来 天旦 代理数据(嵌入代码)New Relic AppDynamics DynaTrace(Compuware)云智慧 OneAPMI TOA 解决
4、方案厂商(2)探针数据(布点拨测)Gomez(Compuware)Keynote听云(基调)博睿 大公司综合性产品IBMHPComputer AssociateBMCRiverbed日志:时间序列机器数据 带时间戳的机器数据 IT 系统信息 服务器 网络设备 操作系统 应用软件 用户信息 用户行为 业务信息 日志反映的是事实数据 深度解析LinkedIn大数据平台(http:/ Log:What every software engineer should know about real-time datas unifying abstraction”,Jay Kreps,LinkedIn e
5、ngineer一条 Apache Access 日志 180.150.189.243-15/Apr/2015:00:27:19+0800“POST/report HTTP/1.1”200 21“https:/ NT 6.1;WOW64;rv:37.0)Gecko/20100101 Firefox/37.0”“10.10.33.174”0.005 0.001 字段:-Client IP:180.150.189.243-Timestamp:15/Apr/2015:00:27:19+0800-Method:POST-URI:/report-Version:HTTP/1.1-Status:200-By
6、tes:21-Referrer:https:/ Agent:Mozilla/5.0(Windows NT 6.1;WOW64;rv:37.0)Gecko/20100101 Firefox/37.0-X-Forward:10.10.33.174-Request_time:0.005-Upstream_request_time:0.001日志的应用场景 运维监控 可用性监控 应用性能监控(APM)安全审计 安全信息事件管理(SIEM)合规审计 发现高级持续威胁(APT)用户及业务统计分析过去:没有集中管理日志日志没有集中处理登陆每一台服务器,使用脚本命令或程序查看(grep/awk/regexp)
7、日志被删除磁盘满了删日志黑客删除日志,抹除入侵痕迹 日志只做事后追查没有事中监控、分析过去:使用数据库存储日志 无法适应TB级海量日志 数据库的schema无法适应千变万化的日志格式 无法提供全文检索TimestampHostnameMessage15/Apr/2015:00:27:19 180.150.189.243+0800“POST/reportHTTP/1.1”20021“hps:/ Hadoop 批处理,不够及时 查询慢 数据离线挖掘,无法做 OLAP(On Line Analytic Processing)Storm 毫秒级延时 Spark Streaming 秒级延时 Hadoo
8、p/Storm/SparkStreaming都只是一个开发框架,不是拿来即用的产品 NoSQL Mongodb Redis Druid 不支持全文检索现在 对日志实时搜索、分析 日志实时搜索分析引擎 快 日志从产生到搜索分析出结果只有几秒的延时 大 每天处理 TB 级的日志量 灵活 Google for IT,可搜索、分析任何日志 Fast Big Data日志管理系统的进化日志1.0:日志2.0:日志3.0:实时搜索引擎数据库Hadoop 或 NoSQL 实时 灵活 固定的schema无法适应 需要开发成本任意日志格式 批处理,实时性差 全文检索 无法处理大数据量 不支持全文检索常用日志处理
展开阅读全文