应用层网络模板课件.ppt

1、应用层网络Application-layer Overlay Networks1谢谢观赏2019-9-21覆盖网络（Overlay Network）o 网络：n 一群互连的、可以相互通信的计算机，定义了主机间通信所使用的编址、路由及服务模型。o 覆盖网络：n 建立在一个或多个已有网络之上的逻辑网络；n 改变底层网络的一个或几个特性，以实现底层网络所不能提供的某种网络服务。o 替代覆盖网络的方案：n 修改已有网络2谢谢观赏2019-9-21因特网是一个覆盖网络o 因特网是建立在众多物理网络及电信线路上的逻辑网络o 增加了一个在网间寻址及路由的IP层o 实现数据包跨物理网络的传输3谢谢观赏2019

2、-9-21覆盖网络的应用o 路由（如路由覆盖网络）o 寻址（如对等网络）o 安全（如VPN）o 多播（如MBone）o 移动（如移动IP）o 4谢谢观赏2019-9-21覆盖网络的优点和缺点o 优点：n 一般不需要部署新的设备，不修改或很少修改已有的软件/协议（但需要在已有软件上部署新的软件）。n 不需要在每一个节点上都部署新软件。o 缺点：n 协议栈中增加了一个层次，增加了包头及包处理开销n 节点的负担加重了n 扩放性问题5谢谢观赏2019-9-21应用层网络o 应用层网络是在因特网上构建的一个完全位于应用层的网络系统。o 应用层网络由分布在因特网上的一组主机组成：n为一个或多个应用程序提供

3、下层基础设施（网络服务）n采用与目前因特网不同的方法转发和处理应用程序的数据n由第三方运营和管理，不是当前因特网体系结构的一部分。o 应用层网络实际上是基于因特网的大规模分布式应用，因借助网络层的一些技术来进行成员之间的寻址和路由而具有了网络层的某些特征。6谢谢观赏2019-9-21典型的应用层网络系统o 路由覆盖网络o 应用层组播o 内容分发网络o P2P系统7谢谢观赏2019-9-211 路由覆盖网络o 因特网路由策略仅反映ISP对开销和运行效率的考虑，端用户和应用程序无法参与。o 对于有些应用来说，因特网路由协议（OSPF/RIP、BGP）所选的路由不能满足其要求。o 路由覆盖网络的目的

4、是为上层应用提供更好的路由服务，满足其特殊的应用需求。8谢谢观赏2019-9-211.1 弹性覆盖网络 Resilient Overlay Networks（RON）o RON是为解决BGP路由失效恢复慢的问题而提出的，其设计目标为：n 快速检测和恢复路由失效o 20秒内检测到路由失效（停运或性能下降）并恢复n 紧密集成路由选择与应用o 允许应用定义路由失效和对失效的响应 o 允许应用选择适合自己的路径度量来选择路径n 灵活的策略路由 o 允许针对单个用户或主机定义路由策略 9谢谢观赏2019-9-2110谢谢观赏2019-9-21RON概述o RON是建立在已有因特网路由结构上的一个应用层覆

5、盖网络。o RON节点监视在它们之间的因特网路径的质量，使用这些信息决定直接使用因特网的路由结构，还是将数据包路由到其它RON节点，以优化应用特定的路由度量。11谢谢观赏2019-9-21RON体系结构模型oRON客户通过管道（conduit）与RON节点交互oProbes负责探测虚链接状态oRouter实现路由协议oForwarder提供分组转发功能 o性能数据库保存虚链接状态信息（延迟、分组丢失率、链路吞吐量）12谢谢观赏2019-9-21RON节点o RON节点是运行了RON软件的主机，实现和路由器类似的功能。o 任意两个RON节点之间维护一条由下层因特网链路构成的路径（虚链接）。o 每

6、个节点及时探测到其余节点的虚链接状态，保存在本地的性能数据库中。o RON的设计目标是为一组RON客户（使用RON转发数据的应用程序）提供更可靠的IP路由机制。13谢谢观赏2019-9-21RON工作过程o 第一个RON节点（入节点）对分组进行分类，决定分组要使用的路径类型（低延迟或高吞吐率等），为其选择一条路由。o 若下一跳为一个RON节点，入节点为分组封装一个RON报头（包含一个流标签），发送到下一个RON节点。o 入节点对后续到达的属于同一个客户的分组标上相同的流标签，直接查找流缓存表转发。o 后续RON节点根据目的地址和流标签决定下一跳（不再进行分类）。o 最后一个RON节点（出节点）

7、将分组交给RON客户。14谢谢观赏2019-9-21RON路由的特点o 支持不同的路由策略：n 使用不同的链路度量参数维护多条路径n 根据RON客户程序的需要选择最合适的路径15谢谢观赏2019-9-21RON路由的工作要点o 路径评估：n 节点使用停运检测（outage detection）算法，主动探测到其它RON节点之间的虚链路是否工作。n 针对每一种路径度量（延迟、丢包率、吞吐率），给出表明路径有多“好”的数值。o 链路状态传播：n 节点周期性地从本地性能数据库中取出到其它节点的各种路径度量的汇总信息，通过RON本身的网络发送。16谢谢观赏2019-9-21路由表构成o 针对每一种路由

8、策略计算一组路由表，每一个路由表针对一种路径度量计算得到。o 路由表的层次结构：n每个策略标签指向一个路由偏好表。n每个路由偏好对应一种路径度量的路由表。17谢谢观赏2019-9-21RON转发o 转发器检查每个到来分组的RON报头，确定要发给本地客户还是一个远程节点：n如果去往本地客户，利用RON报头中的packet type将数据包交给对应的RON客户。n如果flow ID匹配流缓存表中的一个表项，使用表项中的路由信息。n如果flow ID不匹配流缓存表中的任何表项，利用RON报头查找路由表。18谢谢观赏2019-9-21RON报头结构19谢谢观赏2019-9-21路由表查找过程o 路由表

9、查找分三步完成：n 基于策略类型查找n 基于路由偏好查找n 基于目的地址查找20谢谢观赏2019-9-211.2 服务覆盖网络 Service Overlay Networks（SON）o 每个ISP只关心自己网络的性能，并只对自己的用户提供服务保证。o BGP只能找到一条可达的路由，无法保证端-端应用性能。o SON是为了在因特网上提供端-端服务质量（Quality of Service，QoS）而提出的，以方便创建和部署QoS敏感的增值业务。21谢谢观赏2019-9-21SON的实现基础o SON服务商通过双边服务协议（Service Level Agreement，SLA）从各个ISP购

10、买具有一定QoS保证的带宽，在已有因特网上构造一个逻辑的端-端服务投送网络。o 用户通过业务合同，直接向SON服务商付费来使用SON提供的增值服务。22谢谢观赏2019-9-21SON体系结构o SON由服务网关连接而成o 两个服务网关之间的逻辑连接由底层ISP提供，带宽和服务质量由双边SLA保证。23谢谢观赏2019-9-21SON的优点o 引入一个新的流量聚合层次（服务聚合）：n ISP按流量所属的SON进行流量聚合。o 解除了应用服务与网络服务的耦合：n ISP根据SLA设置数据传输服务（粗粒度）。n SON采用与服务相关的带宽管理、流量工程和QoS保证机制，确保服务的端-端服务质量（细

11、粒度）。o 减小了管理和控制网络服务的复杂性o 允许灵活地创建和部署新的增值服务24谢谢观赏2019-9-211.3 面向服务的因特网 Service Oriented Internet（SOI）o 覆盖网络的缺点：n 由于完全不考虑网络层，一定程度的低效率是不可避免的。n 有些覆盖网络提供的服务需要底层网络的支持才能发挥作用。n 有些功能在多个覆盖网中重复实现。o 服务覆盖网下面需要一个底层基础架构，解决覆盖网的低效问题，并支持新的应用需求。25谢谢观赏2019-9-21SOI概述o SOI在逻辑上分离数据传输网络和服务覆盖网络：n数据传输网络：大致对应当前的自治系统，为服务覆盖网提供比特管

12、道服务。n服务覆盖网络：由服务提供商运营，向订户（服务订购者）提供特殊的增值服务。o 服务覆盖网络被抽象成服务云，在多个地方与数据传输网络接口。o 用户请求在数据网络上被路由到某个服务云的最近（或最合适）入口，由服务云中的某个主机服务。26谢谢观赏2019-9-21SOI体系结构27谢谢观赏2019-9-21SOI概述（续）o 数据网络与服务网络逻辑分离的好处：n 允许这两种网络独立进化，在支持已有服务的同时方便未来因特网服务的灵活部署。o 实现逻辑独立性的机制：n 彻底分离数据网络与服务网络的编址、路由和转发机制n 每个服务云可以独立实现自己的编址、路由和转发机制 28谢谢观赏2019-9-

13、21SOI的抽象o SOI是建立在已有IP网络之上、为灵活部署新的因特网服务而提供的一个公共平台。o SOI架构基于三个重要的抽象：n 服务云n 面向服务的编址方案（服务云，云中的对象）n 服务层（服务网关，服务存在点）29谢谢观赏2019-9-21（1）服务云o 服务云是一群部署在因特网上、相互协作向用户提供应用服务的服务实体（如服务器、代理、缓存、内容交换机等）。o 服务云是一个虚拟的服务覆盖网络，依靠下层网络域在因特网范围传输数据。o 服务云和因特网的接口称为服务存在点，数据对象进出服务云只能通过服务存在点。30谢谢观赏2019-9-21（2）面向服务的编址方案o SOI的编址方案提供服

14、务云及服务云中对象的位置无关标识：n 每个服务云被分配一个固定长度（32位）的ID（称sid），由一个中央权威机构管理。n 服务云中的对象用一个对象ID（称oid）标识，其语法和语义由各个服务云定义，只在服务云内部使用。31谢谢观赏2019-9-21命名与名字解析o 服务云的命名与解析：n每个服务云大致对应了目前具有两层或三层域名的一个机构（如），机构的域名就作为服务名。n可以重用DNS或建一个类似的名字解析系统，将服务名解析为sid。o 对象的命名与解析：n服务云根据自己的商业需要定义对象的命名和编址系统。n服务云提供对象解析的功能。o 将两级地址的解析分开，增加了灵活性和安全性。32谢谢观

15、赏2019-9-21（3）服务层o SOI架构的基础是位于IP层之上的一个服务层，包含两个网络单元：n服务网关：可看成是下层网络域的扩展，通常部署在网络域边缘，负责穿过网络域的路由和服务交付。n服务存在点：服务云与网络域接口的地方，逻辑上是服务云的一部分，负责在服务云内部交付对象。o 进出服务云的数据都要经过服务网关，服务网关提供服务区分、识别和跟踪服务云流量的功能。33谢谢观赏2019-9-21服务层在协议栈中的位置 34谢谢观赏2019-9-21服务层协议数据单元（服务对象）o 服务对象头部分为sid部分和oid部分o 服务修正符由服务云定义，对服务对象的转发有影响。35谢谢观赏2019-

16、9-21服务网关（Service Gateway）o 数据面功能：n根据目的sid（或目的sid+源sid）及相关的服务修正符，将服务对象转发到去往目的服务云的下一跳（相邻的S-POP或另一个SG）。o 控制面功能：n运行服务网关路由协议，建立服务路由表。n服务路由表包含目的sid（及相关的服务修正符）到下一跳SG/S-POP（用IP地址表示）的映射。36谢谢观赏2019-9-21服务存在点（S-POP）o 服务存在点有两个主要功能：n与服务网关合作，为它所代理的服务云路由和转发服务对象（发往服务云外部）。n和服务云中的其它S-POP合作，在服务云内部路由和转发服务对象。（服务云内部机制）o

17、为实现第一个功能：n控制面：参与服务网关路由协议，建立（部分的）服务路由表，表中包含从sid空间到相邻SG的映射。n数据面：利用服务路由表，将服务对象转发到服务云外。37谢谢观赏2019-9-21服务网关路由协议o 服务网关路由协议主要负责建立服务路由表，包括两个部分：n S-POP注册和公告：S-POP向本地服务网关注册，通告其存在、所代表的服务云sid、能够处理的流量类型（一组服务修正符）。n 传播服务可达性：从邻居服务网关学习路径和向它们发布路径（类似BGP）。38谢谢观赏2019-9-21参考文献o Resilient Overlay Networks.SOSP 2001.o Serv

18、ice Overlay Networks:SLAs,QoS and Bandwidth Provisioning.ICNP02.o Service Oriented Internet.39谢谢观赏2019-9-212 应用层组播o IP组播体系结构：n路由器采用分布式算法构造一棵数据转发树；组播分组沿转发树转发时，在树的分支节点处由路由器进行复制。o IP组播协议：MOSPF、DVMRP等。o IP多播骨干网：MBoneo IP组播是实现组播转发的最有效方法，可使全网范围的分组复制数量最少。40谢谢观赏2019-9-21IP组播的缺点o路由器必须为每个组播组单独保存状态，路由表和转发表也需要为

19、每个组播组维护一个地址项（组播地址不能聚合），扩展性很差。o要求所有路由器支持组播功能，给IP组播的推广使用带来很大困难。o试图用一种统一的组播模型来适应所有的应用，给组播算法的设计造成很大困难。o组播组的管理开销大。o在IP组播中实现可靠性和拥塞控制非常困难。o在经济方面，尚没有针对组播的流量计费机制。41谢谢观赏2019-9-21应用层组播o在应用层上，依靠端系统之间的单播实现组播。o优点：n不需要改变现有路由器，能够很快进入应用。n单播技术较成熟，基于单播实现的应用层组播易于实现差错控制、流量控制、拥塞控制等。o缺点：n延迟较大：应用层组播不考虑网络本身的拓扑结构。n效率不如IP组播：应

20、用层组播会产生较多数据冗余。o应用层组播研究如何构造并维护高效率的覆盖网络。42谢谢观赏2019-9-21应用层组播的例子：Overcasto Overcast网络用于单源组播，由以下几个部分组成：n 一个源服务器n 任意数目分布在因特网上的中间节点（有永久存储的PC机）n 分布在因特网上的标准HTTP客户（Web浏览器）n 分发树建立协议：将中间节点组织成一棵以源为根的分发树。43谢谢观赏2019-9-21多播组的命名o Overcast借用HTTP URL表示多播组：nhostname指出一个Overcast网络的根，源相同的所有组共享一棵分发树。nPath指示该网络中的一个多播组。n标准

21、的HTTP客户都可以加入这些多播组。o 使用URL作为多播组的名字空间有以下好处：n分层的名字空间解决了多播组地址空间缺乏的问题。n基于HTTP的应用不加修改就能使用到多播。nURL结构丰富，表达能力强。44谢谢观赏2019-9-21Overcast的应用：视频分发系统o 系统由一个studio和在一些合适位置放置的appliance组成，appliance和studio协作组织成一棵分发树。o studio存储内容，并根据需要调度内容到appliance上。o 内容发布者生成一个web页，发布内容的链接。o 用户点击内容的URL后，n浏览器根据hostname将请求发送到studio。nSt

22、udio根据path将请求发送到客户附近的appliance。45谢谢观赏2019-9-21节点初始化o 节点初始化（节点配置和注册）：n 确定节点进行一般IP连接所需要的IP地址和网关地址（DHCP服务或手工配置）。n 向一个全局的、熟知的注册机构发送自己的序列号。n 注册机构提供给节点一个应当加入的Overcast网络列表、一个可选的永久IP配置、应当服务的网络区域、应当执行的访问控制。46谢谢观赏2019-9-21建立分发树o Overcast建立转发树的原则是，最大化从根（源服务器）到所有中间结点的带宽：n 将节点放置在尽可能远离根的地方，同时不牺牲到根的带宽。n 得到一棵较深的分发树

23、，节点在分发树上得到的带宽不低于其直接从根获取内容得到的带宽。47谢谢观赏2019-9-21分发树的建立过程o 当有一个新节点向根注册时，启动分发树建立过程：n 设根为“当前节点”；n 新节点检测直接到“当前节点”的带宽，以及经过“当前节点”的各个孩子节点到达“当前节点”的带宽；o 如果经由某个孩子节点到“当前节点”的带宽和从它直接到达“当前节点”的带宽一样高，该孩子节点成为“当前节点”，继续探测。o 如果有多个孩子节点满足条件，距离新节点最近（跳数最少）的孩子节点成为“当前节点”。o 如果没有一个孩子节点满足条件，“当前节点”成为父节点，搜索过程结束。48谢谢观赏2019-9-21分发树的自

24、适应调整o 节点周期性地重新评估它在树中的位置：n如果到某个兄弟节点的带宽不低于到父节点的带宽，将自己置于该兄弟节点之下。n如果直接到祖父节点的带宽大于到父节点的带宽，将自己置为当前父节点的兄弟节点。o Overcast网络容忍非根节点的失效：n当节点发现父节点不可达时，将自己连接到祖父节点下。n如果祖父节点不可达，节点继续沿系谱往上移，直到找到一个当前活跃的节点。49谢谢观赏2019-9-21网络维护o 每个节点维护一张表，记录在树中低于自己的节点的信息，根节点的信息表包含树中所有节点的最新信息。o 每个节点周期性地向父节点报告自己的存在：n 如果一个孩子节点在预定的时间间隔内没有报告，父节

25、点在表中记录该孩子及其子孙节点“死了”。n 节点还会报告其观察到或被告知的信息，如错过报告时间的孩子和新增的孩子等。50谢谢观赏2019-9-21加入多播组o web客户发送一个包含该多播组URL的HTTP GET请求，URL的hostname指出分发树的根，path指出多播组。o 根节点使用path、用户位置以及当前状态数据库决定将用户从树的哪个位置接入。51谢谢观赏2019-9-21用Overcast实现多播o 数据在父节点和子节点之间通过TCP传输：n 内容可能会流水地通过树上的几代节点。n 一个大文件或一段长时间的实时流可能会同时在几十个不同的TCP流中传输。o 如果出现路径失效：n

26、重建分发树；n 节点检查日志，重新启动未完成的传输。52谢谢观赏2019-9-21参考文献o Overcast:Reliable Multicasting with an Overlay Network.OSDI 2000.53谢谢观赏2019-9-213 内容分发网络 Content Delivery Networks（CDN）o 提高Web服务性能主要围绕网络传输和服务器两个方面：n 提高单台web服务器的性能：o 增加更多的内存和磁盘空间，使用更高速的处理器（或多处理器），使用缓存来减少读盘次数等。o 性能提高有限，响应延迟受网络拥塞影响大。n 建立服务器集群（server farm）：

27、o 多个web服务器分担对同一个web站点的访问请求。o 响应延迟受网络拥塞影响大。54谢谢观赏2019-9-21提高Web服务性能的方法（续）n 建立分级的web缓存机制：o 将用户最近访问过的网页保留在高速缓存中，使用一个代理（proxy）来管理缓存。o 浏览器配置为向代理请求网页，若本地缓存没有，向上一级代理或源服务器请求。55谢谢观赏2019-9-21提高Web服务性能的方法（续）n 建立内容分发网络：o 在因特网的不同地方设置镜像服务器，将用户请求重定向到最近的服务器。o 有助于减小网络传输和服务器负载对请求响应时间的影响。56谢谢观赏2019-9-21CDN涉及的主体o 内容提供商

28、（customer）：n 提供内容服务的机构或公司，其内容保存在源服务器（origin server）。o CDN提供商：n 拥有CDN架构，为内容提供商提供快速可靠的内容递送服务。o 端用户（client）：n 从内容提供商的网站上访问内容的实体。57谢谢观赏2019-9-21内容分发环境58谢谢观赏2019-9-21CDN的内容o CDN一般保存静态内容：n 如图像、视频、媒体剪辑、广告、动态网页中的嵌入式对象等。o 在CDN的上下文中，内容泛指任何数字形式的数据资源，主要包括两大部分：n 经过编码的媒体。n 元数据：用来标识、发现和管理媒体数据的内容描述。59谢谢观赏2019-9-21C

29、DN的客户o CDN的客户一般是媒体和因特网广告公司、数据中心、ISP、在线音乐零售商、移动运营商、消费电子生产商等。o CDN客户希望可靠而及时地在因特网上向端用户发布和投送内容。o CDN提供商根据投送给端用户的内容（即流量）向内容提供商收费。60谢谢观赏2019-9-21CDN的体系结构o 基础结构：提供基础设施资源，由通过高速网络连接的分布式计算资源和网络基础设施组成。o 通信和连接：提供核心的互连网协议、CDN特定的协议、认证协议、安全通信协议SSL。o CDN：CDN核心功能。o 端用户：web用户，在web浏览器上给出内容提供商网站的URL连接到CDN。61谢谢观赏2019-9-

30、2162谢谢观赏2019-9-21CDN提供的服务和功能o 内容存储和管理o 在代理服务器间分发内容o 缓存管理o 静态、动态和流内容投送o 备份和灾难恢复解决方案o 监视、测量和报告性能 63谢谢观赏2019-9-21内容简介o 从以下三个方面介绍CDN：n CDN组成n 内容分发和管理n 请求路求 o 参考文献：A Taxonomy and Survey of Content Delivery Networks.Http:/www.cloudbus.org/reports/CDN-Taxonomy.pdf 64谢谢观赏2019-9-213.1 CDN的组成o CDN的任务是结合网络条件和缓

31、存服务器负载等动态信息，在多个反向代理（surrogate）之间重定向请求和平衡负载。o 在一个CDN中，通常使用一组反向代理来建立内容分发设施，使用一些机制将用户请求重定向到一个反向代理，各单元之间使用特定的协议进行通信。65谢谢观赏2019-9-21Surrogate 和 Proxy o Proxy用于代理内部网络对因特网的连接请求。客户机将本来要直接发送到外部服务器上的服务请求发送到代理服务器，由代理服务器中继服务请求。o Surrogate用于代理外部网络上的主机访问内部网络，此时Surrogate对外表现为一个web服务器。o 反向代理可以增强web服务器的安全性，和作为后端服务器集

32、群的负载均衡器。o 反向代理方式和普通代理方式没有冲突，可以在防火墙设备中同时使用。66谢谢观赏2019-9-21CDN的结构特性67谢谢观赏2019-9-213.1.1 CDN的组织方式o 网络方法：n 在路由器和交换机等网络组件上安装相关软件，将内容请求重定向到本地缓存或特定的内容服务器。o 覆盖方法：n 使用放置于网络中多个地方的应用特定服务器（反向代理，高速缓存服务器）处理特殊内容（web内容、流媒体等）的分发。n 除了提供基本的网络连接和QoS保证外，核心网络组件在内容分发过程中不发挥积极作用。68谢谢观赏2019-9-213.1.2 CDN服务器o 源服务器（origin serv

33、er）：n 存放资源的权威版本，由内容提供商更新。o 复制服务器（replica server）：n 存放资源的拷贝，并被授权响应用户的请求。n 通过源服务器进行内容更新。69谢谢观赏2019-9-21CDN的复制服务器o CDN的复制服务器可以作为媒体服务器、web服务器或高速缓存服务器：n 媒体服务器（media server）：提供数字编码的内容，安装有媒体服务器软件，用音频或视频素材响应用户的请求。n Web服务器：包含到流媒体的链接，以及CDN希望提供的其它基于web的内容。n 高速缓存服务器（cache server）：在网络边缘复制内容，以减少对源服务器的访问。70谢谢观赏201

34、9-9-21流媒体应用的实现o 音/视频文件存储在媒体服务器上，元文件存储在Web服务器上。o 媒体播放器和媒体服务器之间通过RTP/UDP传输音/视频流，使用RTSP进行交互性操作。71谢谢观赏2019-9-213.1.3 CDN组件之间的关系o CDN的各个组件通过相互协作来实现CDN内部的内容复制和高速缓存：n 复制：在不同的计算机系统上创建和维护内容拷贝，典型地是将内容从源服务器“推送”到复制服务器。（Push）n 缓存（caching）：将可缓存的响应保存在本地，以便将来响应相同的请求。（Pull）72谢谢观赏2019-9-21用户-反向代理-源服务器o 内容投递的基本关系是在用户、

35、反向代理服务器和源服务器之间：n 用户一般同反向代理服务器通信。n 反向代理服务器用本地缓存的内容响应用户请求，或作为源服务器的网关。73谢谢观赏2019-9-21用户-网元-高速缓存代理（caching proxy）o 在网络方法中，网元（路由器、交换机）上的控制逻辑将用户请求转发到相应的高速缓存代理（代理阵列）。74谢谢观赏2019-9-21高速缓存代理-高速缓存代理o 根据高速缓存代理之间的通信方式，高速缓存代理可以组织成代理阵列或代理网：n Proxy array：紧耦合结构，有一个权威代理作为主代理，与其它代理通信。n Proxy mesh：松耦合结构，每个代理都和其它代理有联系，构

36、成代理网。Proxy mesh需要一个高速缓存服务器作为网关，转发来自用户本地缓存代理的请求。75谢谢观赏2019-9-21代理阵列 和 代理网76谢谢观赏2019-9-213.1.4 协议o CDN中的通信协议分为两类：n 网元交互协议：用于将用户请求重定向到一个合适的服务器，涉及路由器、内容交换机/负载均衡器、服务器等实体。n 高速缓存交互协议：用于在分布式高速缓存中确定所请求的内容在哪个高速缓存中。77谢谢观赏2019-9-21网元-服务器（NECP）o 运行在服务器（源服务器、拦截代理）与其前端设备（内容交换机、负责均衡路由器）之间的控制协议：n 服务器启动时，与网元的熟知端口建立TC

37、P连接，在TCP连接上进行双向消息交换。n 网元通过消息交换了解服务器的能力、可用性、可以获得哪些内容等，作为重定向用户请求的依据。78谢谢观赏2019-9-21重定向路由器-拦截代理（WCCP）o 运行在重定向路由器和拦截代理之间，建立和维护用户请求的透明重定向：n 若干拦截代理和若干重定向路由器组成一个服务组，指定一个代理（IP地址最小）作为首领，负责在代理群之间分配负载，并将负载分配方法在组内传播。n 通过该协议，路由器知道如何重定向用户请求；拦截代理知道如何管理高速缓存中的内容。79谢谢观赏2019-9-21防火墙安全会话转换协议SOCKS o SOCKS是为客户-服务器应用安全通过防

38、火墙而提供的一个通用框架。o 当内网用户想访问外网服务器时，首先与SOCKS代理服务器建立连接，进行认证。若认证通过，SOCKS代理服务器与外网服务器建立连接，并中继用户请求；否则终止与用户的连接。o SOCKS代理服务器只是简单地传递包，而不关心是何种应用协议，因此SOCKS是一种通用的服务，在概念上位于应用层和传输层之间。80谢谢观赏2019-9-21Internet Cache Protocol（ICP）o Cache被组织成层次结构：n 用户请求发送到本地缓存。n 若本地缓存没有，本地缓存向同伴缓存广播请求。n 若同伴均回复没有或超时，本地缓存向父缓存请求。n 若父缓存没有，父缓存或本

39、地缓存向源服务器请求。o ICP基于查询/应答实现，通信开销大，延迟大。81谢谢观赏2019-9-21Cache Digest o 每个节点保存其它节点中所缓存的内容的摘要：n 本地缓存收到用户请求后，检查本地缓存的内容和其它节点的缓存内容摘要；o 若本地缓存有内容，直接响应用户的请求；o 若有缓存内容摘要，向相应的缓存节点请求；o 若没有缓存内容摘要，向源服务器请求内容。o 优点：不需要发送查询消息到其它缓存节点。o 缺点：存储摘要的代价很高，节点之间需要更新摘要。82谢谢观赏2019-9-21Cache array routing protocol（CARP）o 浏览器利用cache阵列成

40、员表、一个查找函数和用户请求的URL，就能确定最合适的cache服务器。o Cache阵列成员表定义在一个可公开获取的文本文件中，文件中列出了每台代理服务器的名字、IP地址和负载因子（管理员指定）。o 浏览器需要下载Cache阵列成员表和一个查找函数（JavaScript函数）。83谢谢观赏2019-9-21CARP（续）o 查找函数实现CARP算法：n 使用指定的哈希函数计算URL的散列值及每个成员名字的散列值，两个值结合得到每个成员对该URL的一个分值。n 将该分值与成员的负载因子结合，得到每个成员对该URL的总分。n 总分最高的cache服务器选中。o 优点：n 没有缓存冗余，缓存命中率

41、高。n 缓存节点间不需要通信，没有查询和更新开销。84谢谢观赏2019-9-213.1.5 内容/服务类型o CDN提供的内容/服务有三类：静态内容，流媒体，各种内容服务。o 静态内容：n HTML页、图片、文档、软件补丁、音/视频文件等。n 更新频率很低，易于缓存。n 所有CDN提供商都支持静态内容的投递。85谢谢观赏2019-9-21流媒体o 流媒体包括：n 现场音/视频：内容从编码器立即送到媒体服务器，然后送给媒体用户。n 点播音/视频：内容预先被编码，作为流媒体文件保存在媒体服务器中，用户请求时投送。o 流媒体服务需要专门的流式服务器，使用特定软件实现流媒体在IP网络中的传输。o 投送

42、流媒体内容对于CDN是一个挑战。86谢谢观赏2019-9-21内容服务o 将CDN作为服务分发渠道，允许增值服务提供商在上面提供增值服务（内容服务），如：n 目录服务：将用户的查询请求定向到包含请求内容的数据库服务器，并将频繁请求的查询结果缓存在CDN的边缘服务器上。n 网页压缩服务：提供对网页的实时压缩，并对源服务器和用户透明。n 电子商务服务：比如在CDN的边缘服务器上保存和维护购物车、进行在线交易等，减轻源站的压力。87谢谢观赏2019-9-213.2 内容分发和管理o 内容分发：n 反向代理放置：确定反向代理服务器的放置位置及数量，最小化用户访问延迟和网络带宽消耗。n 内容选择和投送：

43、正确选择要复制到CDN的内容，减少用户下载时间和服务器负载。n 内容外包：如何将选择的内容复制到放置好的反向代理服务器？复制到哪一个反向代理服务器？o 内容管理：n 高速缓存组织：缓存技术、缓存更新、缓存策略。88谢谢观赏2019-9-213.2.1 反向代理服务器的放置o 目标：确定反向代理服务器的个数和放置位置。o 问题模型：n给定一个图G（V,E）和要放置的中心数量k，确定中心的位置，使得所有节点到最近中心的最大距离最小化。o 理论算法：n计算复杂度大。o 启发式算法：n利用来自CDN的一些信息，如负载模式、网络拓扑等，以较低的计算代价获得次优解。89谢谢观赏2019-9-21启发式算法

44、（1）o Greedy replica placement：n 前提：知道网络中所有用户的位置，以及每一对节点间的距离。n 算法思想：从N个可能的站点中选择访问代价最小的M个站点放置反向代理。n 过程：o 第一轮计算每个站点的代价，计算时假定所有用户的访问都汇聚到该站点，代价最小的站点被选中。o 结合已选中的站点，第二轮搜索代价第二小的站点。o 依次类推，直至M个站点选出来。90谢谢观赏2019-9-21启发式算法（2）o Topology-informed placement strategy：n 假设：o 有较大出度的节点可用较小的延迟到达更多的节点。n 算法基本思想：o 使用自治域一级的

45、拓扑，每个节点代表一个AS，每一条链路对应一对BGP对等体。按节点出度的降序选择M个节点放置反向代理。n 改进的算法：o 用路由器一级的拓扑代替AS一级的拓扑，与路由器相连的每个局域网都可以放置一个反向代理。91谢谢观赏2019-9-21启发式算法（3）o Hotspot算法：n 按照产生流量的大小对站点进行排序；n 将M个反向代理放置在生成流量最大的M个站点上。92谢谢观赏2019-9-21确定反向代理服务器的数量o 单ISP方法：n 仅在CDN提供商的网络边缘放置反向代理服务器。n 放置策略：在ISP覆盖的区域内，每个大城市放置一个或两个反向代理服务器。n 缺点：反向代理服务器可能离用户很

46、远。o 多ISP方法：n 在尽可能多的互联网入网点（ISP Points of Presence）上放置反向代理服务器。n 优点：反向代理服务器位于请求用户的ISP上。n 缺点：建设成本及复杂性高，服务器使用率低。93谢谢观赏2019-9-213.2.2 内容选择和投送o 正确选择要复制到CDN的内容，以减少用户下载时间和服务器负载。o 两类方法：n 全站点内容选择和投送：将源服务器上的全部对象外包给反向代理服务器。n 部分站点内容选择和投送：只将源服务器上的部分内容复制到反向代理服务器。94谢谢观赏2019-9-21全站点内容选择和投送o 内容提供商配置其DNS，令所有对其web站点的请求都

47、由一个CDN服务器解析，这样全部内容都由CDN投送。o 优点：简单。o 缺点：不具有可行性（边缘服务器不可能拥有足够的存储空间，更新也很难做到）。95谢谢观赏2019-9-21部分站点内容选择和投送o 反向代理服务器只投送内置于网页的对象（如图片）。o 内容提供商修改其内容，将特定对象URL中的host name改为CDN提供商权威域中的域名。o HTML基础网页从源服务器获取，内嵌的对象从CDN反向代理服务器获取。o 优点：n 降低了对反向代理服务器的存储容量需求；n 只投送静态的或更新较慢的内容，减轻更新压力。96谢谢观赏2019-9-21部分站点方法（1）o 基于实证的（empirica

48、l-based）方法：n 管理员依据经验选择复制到反向代理服务器的内容。n 缺点：选择正确经验的不确定性。o 基于流行的（popularity-based）方法：n 最流行的对象被复制到反向代理服务器。n 缺点：o 耗时（要对对象的流行程度进行评估和排序）o 难以得到可靠的对象请求统计信息（流行性变化大）o 新内容的统计信息得不到97谢谢观赏2019-9-21部分站点方法（2）o 基于对象的（object-based）方法：n 内容以对象为单位复制到反向代理服务器。n 在满足存储容量的前提下，每复制一个对象到反向代理服务器都试图最大化性能增益（贪婪算法）。n 优点：可获得最佳性能n 缺点：实现

49、复杂度高98谢谢观赏2019-9-21部分站点方法（3）o 基于聚类的（cluster-based）方法：nweb内容依据相关性或访问频度分组，并以内容聚类为单位进行复制。n基于用户会话的内容聚类：利用web日志文件，确定具有关联内容的网页组。n基于URL的内容聚类：依据web站点的拓扑来汇聚web内容，从一个web站点中识别出最流行的对象，然后按URL之间的相关距离进行聚类。n这类方法可以减少用户下载时间和服务器负载，但实施的复杂度高。99谢谢观赏2019-9-213.2.3 内容外包（content outsourcing）o 如何将选择的内容复制到一组放置好的反向代理服务器上？o coo

50、perative push-based（内容预取）：n内容从源服务器推送到反向代理服务器，反向代理服务器通过相互协作来降低复制和更新代价。nCDN维护内容和反向代理之间的映射，用户请求被定向到最近的反向代理服务器或源服务器。n适合采用全局贪婪启发式算法在合作的反向代理服务器之间进行复制决策。n该方法还处于实验阶段，未被任何CDN提供商使用。100谢谢观赏2019-9-21基于“拉”的内容外包方法o Non-cooperative pull-based：n 用户请求被定向到最近的反向代理服务器；n 如果缓存不命中，反向代理从源服务器取内容。n 大多数流行的CDN提供商使用该方法。o Cooper