基于云计算的web流量智能缓存方案

《基于云计算的web流量智能缓存方案》由会员分享，可在线阅读，更多相关《基于云计算的web流量智能缓存方案（13页珍藏版）》请在装配图网上搜索。

1、成果上报申请书成果名称基于云计算的web流量智能缓存方案成果申报单位江苏省公司成果承担部门/分公司项目负责人姓名项目负责人联系电话和Email成果专业类别*数据网络所属专业部门*数据线条成果研究类别*相关网络解决方案省内评审结果*优秀关键词索引（35个）Web、缓存、云计算应用投资缓存系统投资40万元左右产品版权归属单位 中国移动通信集团江苏有限公司对企业现有标准规范的符合度：（按填写说明5）符合如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：其他研发项目成果简介：简要描述成果目的和意义，

2、解决的问题，取得的社会和经济效益。互联网网页访问的快慢会直接影响用户的上网感知和体验，目前移动宽带客户访问延迟增大，WWW服务质量问题日益突显。WEB缓存技术被认为是减轻服务器负载、降低网络拥塞、增强WWW可扩展性的有效途径之一，其基本思想是利用客户访问的时间局部性（Temporal Locality）原理，将客户访问过的内容在Cache中存放一个副本，当该内容下次被访问时，不必连接到驻留网站，而是由Cache中保留的副本提供。目前移动各个省市都在逐步开展本地WEB缓存的建设工作，但是缓存系统的性能参差不齐。江苏公司整合本地缓存和各种疏导出口的资源，并结合云计算技术对缓存系统进行整体性能的优化

3、和提升。采取云计算技术的缓存系统和第三方智能疏导相结合部署的组网方案部署，提升了缓存性能，节省了昂贵的第三方出口带宽，提升了用户上网感知。其主要成果如下，（1）减少疏导出口网络流量和网络拥塞，从而节省昂贵的第三方出口带宽资源；（2）降低客户访问延迟，缓存在代理服务器中的内容，客户可以直接从代理获取而不是从远程服务器获取，从而减小了传输延迟；没有被缓存的内容由于网络拥塞及服务器负载的减轻而可以较快地被客户获取；（3）缓存系统设计时，充分考虑到了缓存失效的情况，同时为避免因缓存失效而引起客户的访问延迟增加。在设计Web缓存系统时，采用了七层负载均衡交换机对进入缓存的流量进行筛选，做到Cache命中

4、率最大化和失效代价最小化。省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。采用七层交换与智能疏导A10设备和web缓存系统提升效能。A10设备实现会话及七层应用的第三方分流优化和负载均衡功能，突破了传统路由器最多只能识别到四层和手工调整第三方出口流量的局限；还可对进入缓存系统的WEB流量进行筛选，自动剔除非标准TCP 80 端口的流量，降低缓存系统冗余负荷，提高命中率。 整个缓存系统建设完成后节省第三方出口总体带宽的20%左右，提升宽带网速约5-10个百分点，有效提升了客户感知，为目前宽带网速的优化以及第三方疏导系统的建设提供一个较好的方案。该系统除了已经在无锡公

5、司使用之外，常州、徐州分公司已引进使用，还有部分分公司也正在积极测试准备引入。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明6”。一、 项目背景（1）在移动宽带面临日益增加的互联互通压力和昂贵的第三方电路租赁费用情况下，如何提高逐步增长的宽带用户的上网感知，是我们当前面临的主要困难。（2）目前各个地市都在逐步开展本地WEB缓存的建设工作，但是缓存系统的建设没有一个很好的模式以及性能都不高，所以我们提出了整合本地缓存和第三方出口的资源，结合云计算技术进行缓存系统整体性能的优化和提升。采取云计算技术的缓存系统和第三方智能疏导相结合部署

6、的组网方案，提升缓存性能，节省第三方出口带宽，提升用户上网感知。本次研究课题旨在对地市本地缓存系统的建设和优化工作做出积极有益的探索，并积累经验。二、 目前宽带优化中存在的问题目前第三方出口带宽资源有限并且价格高昂，如果一旦用户投诉就往第三方疏导，势必造成第三方出口资源的不足。所以如何更好地利用和发挥第三方出口的功能是我们面临的一个重要问题。具体如下，（1）采用传统路由器时，当一个出口中断后只能倒换会CMNET，无法在出口间备份。（2）通过传统路由器不能筛选出非80标准包，不能将纯http流量给缓存系统，造成缓存系统因这些非标准包的处理而降低了缓存的工作效率。（3）传统路由器不能选择最快链路来

7、实现优化疏导，只能选择某条固定链路。三、 WEB缓存系统主要功能及方案总体方案介绍：WEB缓存解决方案包括两个组件,网络流量处理系统和缓存系统。该WEB缓存解决方案，基于虚拟化和云计算架构，支持所有基于HTTP协议的服务和应用，包括新浪、搜狐等大型门户网站，华军、非凡等软件下载网站，操作系统、杀毒软件以及游戏软件的升级安装包下载，以及所有基于HTTP的视频媒体分享网站，如优酷网、土豆网等，支持FLV、MP4、MPG、MPEG和WMV等文件类型。本方案使用高性能、分布式的网格计算集群架构，充分利用虚拟化、并行计算等前沿技术，提供一个完全冗余具有电信级可靠性及具有数千兆部署扩展性的缓存内容加速平台

8、，并且允许扩展存储和处理器，对部分特定内容提供定制优化服务。该web缓存解决方案的缓存算法可以根据请求内容的大众化或使用频率、内容刷新和准确性提供缓存服务，其目的是将优选普遍的HTTP媒体内容缓存至本地网络，从而可以更迅速地对用户提供快速传送，排除相同内容的重复下载，使流量本地化，节省出口带宽，节省昂贵的链路租用费用，并减少增加带宽所需的网络设备购置费用。（一）组成模块WEB缓存解决方案包括两个组件：网络流量处理系统和缓存系统。1、网络流量处理系统网络流量处理系统包括流量七层帅选和WCCP协议的流量分发。利用七层交换机开启七层包监测, 进一步过滤分拣流量的方式，筛选出非80标准包，将纯http

9、流量给缓存系统，提高cache缓存命中率，降低缓存CPU使用率，从而达到更高效利用缓存系统的目的。网络流量处理系统通过WCCP协议（Web Cache Communication Protocol），根据预设的转发规则及分发算法，将HTTP流量重定向到缓存系统并具体分发到每台缓存设备。如果缓存系统中有缓存设备发生故障，无法正常工作，流量处理系统可以自动探测，并立即将转往该缓存设备的流量分发到其他缓存；如果缓存系统所有设备均发生故障或整个缓存系统离线，流量处理系统则停止向缓存系统转发流量，而是直接将流量发往默认路由下一跳节点。2、缓存系统缓存系统可以透明地分析流量处理系统转发过来的HTTP流量，

10、判断内容是否能够缓存，并执行相应操作。如果能够缓存，就检查存储系统中是否已经保存了相应的内容拷贝，如果有，则从存储系统中直接读取该内容并返回给用户；如果没有，就主动连接远程主机下载该内容，并将内容转发给请求的用户，同时在存储系统中保存相应的拷贝。整个过程对用户端来说是完全透明的，即终端用户无需修改任何设置，也感觉不到缓存系统的存在。网络流量处理系统与缓存系统分离，可以增加网络的扩展性能，为增加带宽提供可扩展的平台。（二）设备组件WEB缓存缓存系统主要包括以下主要组件：1、缓存设备缓存设备的硬件平台，具体配置如下：平台1 Dell R510CPU两颗Intel 至强 E5660 六核处理器，2.

11、8GHz， 12MB高速缓存，5.86GT/s QPI，内存64GB ，1333MHz双列RDIMM内存硬盘10450GB 15K 6Gbps SAS 3.5英寸热插拔硬盘；4100G SSD磁盘阵列卡1PERC H700集成RAID控制器，512M高速缓存1PERC H800 RAID控制器，1G高速缓存网卡Broadcom 5716双端口千兆以太网卡；2 Intel 千兆ET四端口服务器适配器磁盘扩展柜1DELL MD122024600G 10K SAS电源冗余电源（750W） 2；远程管理iDrac Enterprise缓存虚拟机8路虚机并行。处理性能1.5Gbps，7000请求/秒。2

12、、流量处理设备流量处理设备为一台Cisco 3750G三层交换机，具体型号为Cisco-3750G-24TS-S，具体配置参数如下： 24个千兆电口，10/100/1000M自适应 4个SFP接口 转发速率：160Gbps 包转发率：38.6mpps 支持：WCCP、OSPF、PBR 电源：双电源（三）部署方法1、系统拓扑结构系统拓扑结构如图 1系统拓扑结构所示：图 1系统拓扑结构（1）WEB缓存系统配置： 每台缓存2500服务器上的Intel 4口千兆网卡分别连接四条五类线到Cisco 3750（共4条千兆链路），划分到Vlan500中（description $_Link.to.缓存.Se

13、rvers），提供缓存服务； 每台缓存2500服务器上的板载BroadCom千兆网卡连接一条线到Cisco 3750（共2条千兆链路），划分到Vlan600中（description $_Link.to.缓存.Servers.Configure），提供远程管理配置服务； 每台缓存2500服务器上的iDrac远程管理模块卡连接一条线到Cisco 3750（共2条千兆链路） Cisco3750通过port-channel连接到核心交换机（视转发流量而定）的上行口和下行口（description $_Subscribers），分别划分到Vlan100和Vlan200。（2）七层负载均衡设备A10策略

14、 七层负载均衡设备所要管理的流量由7600路由器策略路由引入A10 AX 3000设备后，再根据策略转发至缓存系统或者第三方链路； AX 3000和7600之间采用多个端口捆绑引入流量 多个第三方链路通过防火墙后接入A10 AX 3000设备，防火墙NAT通过AX 3000设备发送会内网日志服务器 Green Cache缓存系统和思科3750仍旧保持原有WCCP配置和流量分发方式；思科3750原来和7600直连，现在改为和A10 AX 3000捆绑接入，由AX 3000分拣流量后发送给Green Cache系统。 针对Cache系统，AX 3000可以通过黑名单或者白名单方式过滤流量，将适合发

15、送给缓存的流量转发给缓存系统 针对出口链路，AX 3000可以通过多种手段灵活调整流量分配策略，包括o 根据目标地址所属运营商，在链路中按照链路带宽选路o 按照最快响应选择最佳链路o 可根据需求，同一个链路可以为不同运营商服务，例如同时处理电信和网通流量 需要疏导的流量AX可以设置不同策略，例如o 所有Port 80端口流量经过分辨后发送缓存o 其他端口流量和不适合发送缓存的Port 80端口流量智能选路使用第三方链路o 缓存使用本身IP地址获取和更新内容，针对这些源地址流量智能选路使用第三方链路以上配置的关键在于避免cache环路，保障正常流量的分发 其他o 基于7层的链路健康监测，按照特定

16、网站是否可以访问作为判定链路健康与否的方式o 链路故障或者恢复可以通过日志报警，例如发送139信息到手机上流量处理的逻辑图如下，2、流量导入机制为避免给现网流量造成过大冲击，导入流量可以采取分阶段抓重点的方法进行，即：第一阶段可将一部分用户（1000-3000用户）的所有HTTP请求通过策略路由（PBR）方式在核心交换机上转发给Cisco 3750，缓存系统在每天处理完用户请求后，可以根据访问日志，分析汇总得出用户访问流量分布构成报表，根据这个报表，可以进行第二阶段的流量导入。第二阶段根据缓存得出的用户访问流量分布报表，将占流量构成Top 50-100的源或目的地址网段加入到转发列表，导给Ci

17、sco 3750；同时逐步将用户流量限制范围扩大，最终取消限制，将所有用户的访问Top列表网段的请求导给缓存系统，实现缓存效益的最大化。四、 解决的问题（1）WEB缓存系统上线后采用互联网探针系统测试统计提升宽带网速约10%，晚忙时节省第三出口约400Mbps左右。（2）A10开启7层交换机功能，可以筛选出非80标准包，将纯http流量给缓存，避免缓存对这些非标准包的处理，提升缓存效率。优化前缓存系统的情况：优化后缓存系统的情况： 优化后缓存命中率由日均36.55%增加到48.49%，较之前提升约12个百分点。测试前缓存处理用户上网请求数日均1.5k/s左右（包含网页请求和非标准网页请求），A

18、10上线后缓存处理的请求数下降为0.8k/s左右，其中A10过滤了约40%的迅雷等非标准80端口的流量，降低了缓存负载，使缓存可以处理更大的web流量。（3）原CISCO7604路由模式，当一条第三方出口故障后，原路由器模式是自动切换到CMNET出口，通过A10，可以再重新选一条第三方出口。（4）A10可以根据业务质量实现第三方出口的路由调度，即会选一条最优的路由来疏导。原路由器模式只能静态手工指定。五、 产生的效益（1） WEB缓存系统上线后采用互联网探针系统测试统计提升宽带网速约10%，晚忙时节省第三出口约400Mbps左右，相当于节省一条500M带宽的第三方出口费用，按照市场价500M第三方出口约为20万。增加AX3000后本地Web网页缓存峰值流速为803.68Mbps，其中缓存系统输出峰值流速为461.99Mbps,缓存平均命中率49.01%,最大命中率为58.10%，对CMNET的网页和视频流量起到较大的优化分流作用。（2） WEB缓存系统上线后提升了宽带网速约10%，用户满意度也逐月提升，由一月份的78.9%提升到88.4%，该缓存系统起到比较重要的作用。13