58到家分布式服务框架.pptx

1、58到家分布式服务框架DSF(Daojia Ser vice Fr am e work)目录DSF产生背景DSF介绍服务治理实践背景 统一服务框架多服务框架：58同城RPC框架、Dubbo框架、维护成本高 统一服务治理注册中心、监控、流控、调用跟踪DSF介绍 RPC框架核心流程ClientServiceRetObjretObj=proxy.fun(a,b)接口代理接口实现(线程池中调用真实服务)3.反序列化为入参对象4.1.创建服务代理对象6.反序列化为结果对象返回服务结果对象序列化序列化5.从协议包中获取结果对象流2.接口签名和入参对象流从协议包中获取2.入参对象序列化5.结果对象序列化协议

2、协议3.将协议版本,协议类型,序列化方式,序列化结果对象流等,组成一个协议包,交给通讯层3.将协议版本,协议类型,序列化方式,方法签名,入参对象流等,组成一个协议包,交给通讯层发送4.接收协议包数据交给协议层处理1.接收协议包数据交给协议层处理协议包数据流网络通讯(send、receive)网络通讯DSF介绍 整体架构DSF服务治理管理平台DtrackerpluginDSFClientDSFServer()容器Java动态代理异步处理监控 权限过滤器DSF注册中心DSF序列化DSF协议负载均衡上下文管理网络通讯网络通讯DSF介绍 协议版本号协议总长度请求上下文编号(Request,Respon

3、se,Exception,Reboot)消息类型(,DSF,Hession)序列化方式 同城压缩算法加解密算法消息体定长包头(公共属性)+变长包体(业务扩展)DSF介绍 序列化四元组(参考BER(basicencodingrules):类型、对象总字节长度、对象属性序号、对象属性值Element(自定义Class类)序号属性值sortid Intnum;序号sortid序号sortidTypeId Length567 15Intage;23Stringname;11223“张三”List对象序列化样例:ListListelement1element2typeid sizesortid=1 so

4、rtid=2 sortid=3Intnum;Intage;Stringname;sortid=1 sortid=2Intnum;Intage;5892typeid lengthtypeid lengthDSF介绍 跨语言、跨平台客户端JavaC&C+服务端(JavaDSF容器)DSF序列化客户端客户端TCP长连接DSF序列化DSF协议DSF序列化DSF协议DSF协议客户端、服务端，使用相同的 序列化 和 协议DSF介绍 高可用服务多节点部署健康检查过载丢弃(请求阈值)服务平滑重启降级处理客户端重试机制&故障转移客户端超时处理DSF介绍 负载均衡静态权重配置；服务节点动态请求超时权重调整；安全性

5、IP黑白名单方法调用授权服务分组DSF介绍 易用性 运维部署bin(启动脚本，全局配置文件)|-dsf(启动脚本)|-dsf_config.xml|-dsf_log4j.xmlREADME(相关说明)docs(文档)log(日志文件)lib(DSF容器自身依赖的jar)service|-lib(服务依赖的公共jar)|-deploy(DSF服务部署目录)|-paycenter(支付中心服务)|-paycenter.1.0.0.jar|-dsf_config.xml|-dsf_log4j.xml|-order(订单服务)|-order.1.0.0.jar|-dsf_config.xml|-dsf

6、_log4j.xmlDSF介绍 易用性 实时监控jvm optiontimecountcount|secondnum|method methodName*showmethodcalltimesinnumseconds*second:innumsecondsstatisticsonce(numdefault1)*method:forstatisticsmethod*option:*-gcutil:detectionheapmemoryusage*-class:loadclass*-gcheap:heapmemoryusedandcommitted*-memor y:JVM memor yused

7、*-heap:VirtualMachineheapmemoryused*-noheap:Virtual Machinenoheap memoryused*-thread:threadcounts*example:count*example:count|second 3|methodgetInfotime|grep abc|column-tkda*showmethodexecutetime*grep:condition*column:showcolumna-allt-timek-keyd-description*example:time|grep getInfo*example:time|gre

8、p getInfo|column-tk*time:timemillisecondsaparttestagain*count:detectioncounttimes*example:jvm-gcutil*example:jvm-gcutil 1000*example:jvm-gcutil 10005exec|tophelp|netstat-na*showhelp*execcommand(atpresentonlyallow:top ornetstat)*example:exec|topquit*quitmonitorDSF介绍 易用性 开发简单服务端(接口定义、接口实现、序列化实体类)客户端(配

9、置加载、创建客户端代理、调用远程接口)服务治理 注册中心RegistryCluster2subscribe1register3notify4invokeClientServerServernodeconfig 发布&订阅 机制服务增、删节点，对服务消费方透明；方便做分组管理和安全策略；服务健康状况监测TCP长连接、心跳监测；高可用注册中心HA；客户端本地配置服务治理 流控阈值告警，超过流控阈值80%；波动告警；手动快速扩容(自动扩容)；流控阈值在线调整，实时生效；服务治理 调用跟踪系统(Dt racker)基于日志的分布式调用跟踪系统调用信息web框架traceid,spanId,IP地址,系

10、统类型,调用链Web后台URL或接口,执行耗时.日志组件service框架ES日志收集平台kafka日志组件调用信息HDSFcache客户端Db-tool调用信息日志组件日志组件调用信息服务治理 调用跟踪系统(Dt racker)机器Iweb-applicationtraceid:”unique_id”spanId:”0”Traceid全局串联请求调用；spanId描述调用层级关系；traceid、spanId的透传；数据采集：全量 或 采样serviceAProxyserviceBProxyspanId:”0.2”serviceCProxyspanId:”0.3”spanId:”0.1”traceid:unique_id”spanId:”0.1机器2ServiceAtraceid:”unique_id”spanId:”0.1.1Cache-Clienttraceid:”unique_id”DB-tooltraceid:”unique_id”1DB-tool访问表2traceid:”unique_id”访问表spanId:”0.1.1.1spanId:”0.1.1.2spanId:”0.1.1.3CacheDB