多快好省运营大规模弹性云集群.pptx

1、多快好省运营大规模弹性云集群目录弹性云v1.0线上运营情况1弹性云v1.0挑战2弹性云v1.0架构3弹性云v1.0 大促备战4弹性云v1.0容器性能提升5弹性云v2.0起航6弹性云v1.0 线上运营情况618大促前统计15W+，JD全部业务均run在弹性云容器之上 挑战选择（2014/6/18）向前兼容第一个核心系统（单品页）容器性能&稳定性大规模运维成本弹性云v1.0架构Openstack Icehouse+docker1.3+OVS2.1.3/2.3.2+Centos6.6 Data Center Operating System(OpenStack)VMsPhysical servers

2、ContainersJFSOVSDPDK弹性云v1.0架构弹性云v1.0架构OVS-VLAN网络模式 弹性云v1.0 业务方研发同事使用l 对接原有上线系统l 自助上线 弹性云v1.0 运维同事运维系统l 物理资源管理l 集群管理l 异常消息追踪l 每日巡检 618备战l 资源l 20倍压测l 弹性 scale up&scale out（不是银弹）l 调优l 内存即存储 l 区别业务特点l 细到尘埃的监控系统l 高峰流量 提前规划资源+弹性scale up坚如磐石l 稳定性l 性能硬件环境 l 服务器节能模式的“坑”l 容器实例密度对local机械磁盘的挑战l 不同品牌网卡的困扰l CPU:M

3、emory=1:？l 计量性能的规则和手段l 不同cpu硬件性能带给业务方困扰万兆NIC l 多CPU分摊网卡软中断（网卡队列均衡以及中断散列）l OVS-VLAN，simple flow，no offload，性能与物理网卡相当l kernel 2.6.32的网络namespace对sync报文承受弱，kernel 3.1 fixedl 优化OVS对内核锁的使用l Monitor moreCgroup：CPU l CFS（RR/FIFO）l 流量与CPU%成线性关系吗l 某些容器Load影响其他容器性能吗l cpu set&cpu share&逃逸Cgroup：Memoryl%=RSS+Sh

4、are/Totall OOMl Cachel Slab JD分散回收时机及回收阈值设定l Swap&Swappiness l Monitor more，如swapCgroup：资源及隔离l 用户隔离（uuid/线程数）l 文件句柄限制（file-max）l 虚拟内存（线程数及overcommit）大集群 l openstack单集群6K台计算节点l 自研调度系统p 自研brooder服务，代替社区直连和目前的nova-conductor，不依赖MQ，带redis缓存p 管理容器生命周期消息tracking，集群任何动作均做tracking，告警p Neutron-openvswitch-age

5、nt update 平滑，确保容器不中断，稳定p 控制节点服务，计算节点服务，依赖DB，内核日志均做服务进程探活监控p 避免使用ceilometer采集simple指标走MQp 自研调度系统，依赖计算节点资源状态信息存放在redis，确保无状态调度进程原子互斥调度p 根据应用app-id，夸交换机/机架/物理机；根据业务系统级别，资源特性调度到不同的zonep 不同的隔离特点，调度到不同的network zonep 某个容器失效，自动触发RC（保持IP不变“迁移”）p 应用缩容/扩容，自动CRUD操作LB，DB授权，服务框架注册细到尘埃的监控平台获得技术尊重 open fd,14:00,100

6、open fd,14:01,200open fd,14:20,300open fd,14:30,400close fd,14:00,40close fd,14:01,30close fd,14:20,20close fd,14:30,300050014:0014:0114:2014:30fdopen fdclose fd线程数,14:00,300线程数,14:01,300线程数,14:02,3000线程数,14:03,600001000014:0014:0114:0214:03thread线程数send,14:00,0send,14:01,0send,14:02,30send,14:03,00204014:0014:0114:0214:03包重传send硬件+OS容器平台业务监控l 资源监控：CPU，负载，内存，SWAP，网络出入项流量、报文个数，网卡错误统计，磁盘使用率、读写流量、读写iops、繁忙程度等。l 网络协议监控：tcp 丢包、重传、收发报文，链接数等。l 其他监控：内存申请失败，进程/线程数，句柄数等。l 业务监控：定制的部分业务监控。l 服务器硬件监控：功率，风扇转速，温度等监控。监控未来l 弹性云v1.0 所得所失l 弹性云v2.0 承上启下 CaaS基因IaaS基因弹性云v2.0 K8s+Docker+Neutron+OVS+DPDK+JFS