企业实时大数据系统介绍课件.pptx

1、企业实时大数据系统介绍技术创新，变革未来目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控-ELK数据总线-Kafka数据实时分析-Spark Streaming/Storm/Flink数据存储-Elasticsearch as a ServiceOLAP/试验平台-Zeppelin+Spark/FlinkPrism数据流图这里开始Dev成为问题定位的瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法快速构建业务流无法快

2、速增减容量怎么办？我们的方案解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Marathon和Spark的位置在Mesos上运行无状态服务宿主节点快照找到Kibana网络方案-net=hostCalicoCNI(Mesos version=1.0)请求路由/服务发现（HTTP）多机房日志流汇聚日志平台接入Portal新需求新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求引入Spark on MesosSoftware on Mesos一个真实的业务场景规模实时日志分析：300模块，kafka峰值带宽6GSpark S

3、treaming任务：50个Storm集群：5个Flink集群：2个集群规划宗旨基础设施这一层技术收敛Fail Over多租户资源隔离QuotaBootstrap Version 3.0All in Docker监控监控数据处理模块拓扑监控业务统计监控队列堆积：Kafka Topic Lag流量：Search Count/Message Count错误：Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控Mesos资源统计广告 pyadvisorhttps:/ 50+;47 ES集群；600+容器总结我们做的事儿实时数据治理解决数据软件的部署的门槛解决Mesos环境部署的门槛仍存在的问题负载不均匀数据异常定位速度慢下一步计划解决以存在的问题接入新的软件GPU计算平台建设