一种P2P内容缓存系统设计和软件开发

《一种P2P内容缓存系统设计和软件开发》由会员分享，可在线阅读，更多相关《一种P2P内容缓存系统设计和软件开发（48页珍藏版）》请在装配图网上搜索。

1、一种P2P内容下载缓存系统设计和下载软件开发毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本

2、；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的

3、规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；

4、设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （

5、盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位： （盖章）年 月 日教研室（或答辩小组）及教学系意见教研室（或答辩

6、小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中

7、及格 不及格评定成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日一种P2P内容下载缓存系统设计和下载软件开发摘 要随着BitTorrent（以下简称BT）等一系列P2P应用的兴起，网络流量犹如洪水到来，互联网服务提供商（InternetServiceProvider，以下简称ISP）正在面临巨大的网络带宽压力。据统计，目前我国互联网P2P流量已占总流量的70%左右，而以BT为主的P2P下载流量已占P2P总流量的80%，因此为了缓解BT等应用带来的大量带宽的占用，ISP通过充分挖掘基础网络设备功能

8、来达到最基本的效果。本论文主张采取正确引导P2P流量的策略的方法，借鉴Web Caching技术与CDN内容分发网络技术的基本原理，提出设置P2P内容缓存服务器的方法和关键技术。首先将用户请求的内容转移到P2P内容缓存服务器中，然后再通知用户到P2P内容缓存服务器中下载，尽量将P2P流量控制在ISP网络内部，从而有效控制ISP出口网络带宽拥挤的状况。同时，实现了网络运营商对P2P内容的监管，为P2P技术推动互联网健康快速的发展起到了重要的作用。 关键词：BitTorrent，P2P，互联网服务提供商，流量，网络带宽，P2P内容缓存服务器A Design and Development of P

9、2P Content Downloading Cache SystemAbstractWith the development of the use of P2P such as BitTorrent, Internet Service Provider (ISP for short) is facing the huge pressure of network bandwidth. At present, the Internet flow of P2P is about 70% of the total flow in our country according to the statis

10、tics, and especially the P2P download of BitTorrent is 80% of the P2P total flow. Thus, in order to reduce the using of large bandwidth taken by BT, ISP obtains the basic effect by exploiting the function of the basal internet equipment. The main work in this paper is to take a right way to lead P2P

11、 flow correctly and put forward a method of setting Content Cache Server of P2P by using the principle of Web Caching technology and Content Delivery Network technology. First, the work is to transfer the content of the users request to P2P Content Cache Server, and then to inform him to download th

12、e content from it, controlling the P2P flow in the ISP network as far as possible, in order to control the jam of bandwidth at the export of ISP network. Meanwhile, the method puts forward the supervision of P2P by Internet Service Provider, and it takes an important part in promoting the developmen

13、t of Internet healthily and rapidly.Key words: BitTorrent; peer-to-peer; Internet Service Provider; flow; network bandwidth; P2P Content Cache Server1绪论12P2P技术介绍22.1传统资源共享方式22.2P2P网络共享方式22.2.1P2P网络原理22.2.2P2P网络应用模式32.2.3P2P网络路由模型32.3P2P流量的特征分析与识别32.3.1P2P流量特征32.3.2P2P流量识别与检测42.4P2P应用对ISP造成的影响52.5目前对

14、P2P应用的解决办法63目前一些缓存技术分析和P2P内容缓存系统的可行性73.1Web Caching技术73.2CDN内容分发网络83.2.1CDN工作原理83.2.2CDN框架结构83.3Web Caching与CDN系统比较93.4Web Caching技术可行性报告93.5CDN技术可行性报告103.6本章小结114P2P内容缓存系统研究与设计124.1P2P内容缓存系统设计目标124.2P2P内容缓存系统总体设计概要134.2.1系统设计层次结构134.2.2系统功能模块134.2.3系统关键技术154.3系统方案设计174.3.1方案一174.3.2方案二184.3.3方案比较19

15、5用于缓存系统的下载软件开发与调试205.1系统开发环境与开发环境205.2程序结构与程序流程分析205.2.1进程设计205.2.2程序流程图225.3数据结构与关键算法分析255.4系统软件测试285.4.1系统测试环境285.4.2系统测试时遇到的问题295.5系统实现功能及特性说明305.6系统可扩展方案研究说明306结 论326.1设计过程与实现结果分析326.2系统遗留问题及工作展望32参考文献33致 谢34作者简介：34声 明351 绪论近几年来，随着以BitTorrent为代表的P2P技术的快速发展，彻底打破了传统的C/S资源共享模式，网络流量急剧增加，同时也影响了ISP的运营

16、模式，使得ISP出口带宽紧缺，为了解决这些问题，ISP提出了很多方案，例如：阻塞常用P2P端口、限制用户上限带宽、干扰peer间通信等措施，但是最终取得的效果却并不理想，因此当前需要一种新型的网络解决方案实现缓解ISP出口带宽紧缺的问题。而P2P带宽解决方案的关键技术1在于：高速应用层协议识别、范围控制与本地服务、高速数据内容检测、数据流重定向。本论文的研究目的就在于设计出一种P2P内容下载缓存系统，通过P2P流量检测技术，将所有经过ISP出口的P2P流量重定向到P2P内容缓存服务器中，P2P内容缓存器完成P2P内容数据的集中，然后再将这些P2P内容数据传送给请求的用户，使绝大多数的P2P流量

17、控制在ISP内部，从而缓解ISP出口的带宽压力。本文在深入分析当前ISP缓解网络带宽方案的基础上，结合Web Caching技术与CDN内容分法网络的缓存系统原理，提出基于BitTorrent应用的P2P内容下载缓存系统，并通过编写代码，实现用于P2P内容缓存服务的软件系统。该系统应能够支持基于BT协议的P2P下载控制以及将P2P缓存服务器中存在的P2P内容数据高速的传送给请求该内容的用户。目前，暂时还没有关于使用P2P内容缓存服务器的方式来引导P2P流量的研究方案和实用系统，因此本系统的研究为P2P合理有效的利用和监管提供了新的方向和思路，对P2P技术的合理发展将起到一定的促进作用。2 P2

18、P技术介绍2.1 传统资源共享方式在如今的互联网时代，资源共享是其非常重要的功能之一。传统的资源共享方式主要是C/S模式（客户端/服务器，Client/Server），其主要由客户应用程序(Client)、服务器管理程序(Server)和中间件(Middleware)三个部件组成2。客户应用程序是系统中用户与数据进行交互的部件。服务器程序负责有效地管理系统资源，如管理一个信息数据库，其主要工作是当多个客户并发地请求服务器上的相同资源时，对这些资源进行最优化管理。中间件负责联结客户应用程序与服务器管理程序，协同完成一个作业，以满足用户查询管理数据的要求。比较经典的应用有FTP和WWW服务，其是F

19、IP，它的全称就是“文件传送协议”，FTP协议以其稳定、高速、简单的文件传输而一直保持着很大的生命力。C/S结构在技术上很成熟，它的主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、利于处理大量数据。但是随着网络技术的不断发展和网络用户增多，服务器非常容易产生瓶颈问题，影响用户的正常访问。2.2 P2P网络共享方式P2P技术的诞生，彻底打破了传统的文件下载方式。目前基于P2P技术的BitTorrent协议的文件下载软件风靡全球，BT的优越性在于克服了传统文件下载技术的速度瓶颈问题，文件的下载速度反而随着用户数的增加而得到提高。2.2.1 P2P网络原理P2P是peer-to-p

20、eer的缩写，是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能力、网络连接能力、打印机等），这些共享资源需要由网络提供服务和内容，能被其它对等节点(peer)直接访问而无需经过中间实体。在此网络中的参与者既是资源（服务和内容）提供者（Server），又是资源获取者（Client）。P2P打破了传统的C/S模式，在网络中的每个结点的地位都是对等的。每个结点既充当服务器，为其他结点提供服务，同时也享用其他结点提供的服务。P2P的技术特点见表1-1：表1-1 P2P与C/S模式统计数据之间的对比性能P2P模式C/S模式数据发布性好差数据接收性中好数据互动性好差数据即时性

21、好差数据安全性差好数据更新好差数据质量中好数据成本控制好差数据管理方便性差好2.2.2 P2P网络应用模式当初Internet产生和发展的主要动力是资源共享，这也正是P2P提出的最初目标，以P2P技术为基础的文件内容共享应用也是P2P最重要的应用。同时，随着Internet的发展和人们对P2P思想的理解，其他一些基于P2P的应用也不断出现3。(1) 文件内容共享和下载：例如Napster、eDonkey、eMule、Maze、BT、迅雷等；(2) 计算能力和存储共享：例如SETIhome、Avaki、Popular Power等；(3) 基于P2P技术的协同与服务共享平台：例如JXTA、Mag

22、i、Groove等；(4) 即时通讯工具：包括ICQ、QQ、Yahoo Messenger、MSN Messenger等；(5) P2P通讯与信息共享：例如Skype、Crowds、Onion Routing等； (6) 基于P2P技术的网络电视：沸点、PPStream、 PPLive、 QQLive、 SopCast等；(7) 基于P2P技术的网络游戏；2.2.3 P2P网络路由模型所有的对等网络有一个共同点,那就是实际的数据传输是在资源的请求者与接收者间直接进行的。但是, P2P的控制层面的实现有不同的方式,据此所有的对等网络的应用可以归结为如下四种体系结构4: 集中式网络模型，中心服务器

23、存储所有节点的信息的目录，而信息本身存在各个节点中。 分布式网络模型，无中心服务器，各节点直接通过“洪泛”模式传递搜索消息。 混合式网络模型，引入了超级节点的概念，超级节点域内采用集中结构工作模式，超级节点之间是分布结构工作模式。 结构化网络模型，一种采用纯分布式的消息传递机制和根据关键字进行查找的定位服务，目前的主流方法是采用分布式哈希表(DHT)技术，这也是目前扩展性最好的P2P路由方式之一。目前比较成熟的DHT协议主要有：Chord、CAN、Pastry、Kademlia。2.3 P2P流量的特征分析与识别2.3.1 P2P流量特征(1) 数据量大。对于资源共享和基于P2P技术的网络电视

24、应用来说，数据量是巨大的。(2) 数据突发性强。用户发送数据在时间上具有很大的随机性，分布不均匀。(3) 高速传输。由于P2P中每一个节点都是服务器，为其他节点服务，所以数据传输速率比传统C/S模式更快。(4) 在线时间长5。P2P模式打破传统C/S模式，将服务器分散到每一个节点，节点在下载完毕时，仍然可以在线作为服务器，为其他对等节点服务，而且很多P2P应用软件为了充分发挥P2P技术的优越性，都有一定的激励措施，鼓励用户长期在线。(5) 上下行流量对称。P2P中的节点既是客户端，也是服务器，在下载的同时，也在为其他对等节点服务，提供上传业务，因此，上下行基本对称。(6) 业务分布广泛。目前P

25、2P技术的应用很广，涉及到很多领域，在空间分布上也比较广泛。(7) 连接端口不确定。P2P应用占据很多的带宽，因此在很多情况下，P2P业务被屏蔽，为了解决这个问题，很多P2P应用软件端口可以根据用户要求改变。(8) 连接IP地址特征5。P2P是多点到多点的连接模式，因此，客户端同时与多个IP地址建立连接，但在一段时间内平均连接每个IP地址的次数不多。2.3.2 P2P流量识别与检测对于P2P流量合理有效地识别应该包含如下内容。第一，对P2P流量的特征必须具有良好的分布特征和可区分性；第二，识别P2P流量和整个P2P覆盖网络,这样才可能依此提出新的针对于P2P网络的积极防御模式和机制。目前常用的

26、流量识别方法6主要有：(1) 端口匹配识别：完成固定端口的常规业务和P2P 业务应用识别。通过取出流中的源端口或者目的端口，然后查找常用端口映射表，如存在，则识别成功，并考虑伪端口的存在（如一些P2P 为了伪装而借用常用端口），予以剔除。(2) 净荷检测识别：若通过静态的端口映射表无法识别，则表明这些流量是非标准协议或者动态端口的，需要采用特征字符串来匹配净荷的方式来识别这些业务或应用。（常用P2P应用流量特征比特串见表3-1）(3) 连接模式识别：不同的业务其建立连接的方式都有相应特征，可通过IP 地址和端口的相应关系识别P2P业务。主要是统计（IP，port）所连接到的各个IP、端口号、数

27、据报大小和传送流量大小。如果连接到的IP 地址个数和port个数相近，则认为是P2P 流量。相反，如果连接到的IP数和port 数相差大到10个以上，则认为是非P2P流量。(4) 拓扑特性识别：不同的业务其拓扑也有各自特征，可通过分析协助识别。(5) 应用协议分析识别：对于非标准协议的应用，但协议又是公开的，比如eMule等应用，可通过应用协议分析引擎对此类业务进行识别。(6) (TCP/UDP) IP pair 法识别：根据观察和研究，同时采用了TCP和UDP协议的应用绝大部分都是P2P 流量，除了特殊的几个应用，如：DNS，NETBIOS，IRC，游戏和多媒体业务流量，但这些应用都有特定的

28、端口，如135,137,139,445,53,3531 等，可以通过端口匹配识别这些流量（见图1），其余的业务流量同时应用了TCP和UDP协议的流量，即为P2P 流量。表3-1常用P2P应用流量特征比特串P2P协议名称净荷比特字符串eDonkey20000xe319010000Fasttract“Get ./hash”Bitterront0x13Bittorrent protocolAres“Get hash:”(7) 流统计特性的识别：在IP层通过流量统计特征的方式识别P2P流。P2P流量具有长时固定连接特点，因此理论上基于流状态的统计识别方式可以识别一切大规模P2P流量。(8) 采用双向识

29、别：当某个方向的流(五元组定义的流)被识别为P2P流，则其反方向流必然也是P2P流。对于衡量某种流量识别方法的好坏，其技术指标主要有三个基本原则：（1）尽量提高检测精度；（2）在检测精度中偏重于降低虚警率（False Positive Rata，FP%），维持适当漏报率（False Negative Rata，FN%）；（3）维持适当的计算复杂度。2.4 P2P应用对ISP造成的影响P2P以其独特的技术优势在这几年内迅速发展，其应用不断增长。互联网用户数的增长率一直保持在10到20，但是带宽的需求却呈现300倍到500倍的增长，其中带宽需求的增长来源则主要是P2P应用，P2P应用的流量已经远远

30、超过了http应用的流量，成为Internet流量的主体。但是，P2P流量在所有Internet流量中的比例却由于所处地域的不同而存在着相当的差异7，见表1-2。据统计目前我国P2P流量占据了70%-80%的互联网流量。表1-2 2004年Internet流量在不同地区的分布areaAsiaEuropeEnglandAmericaPopular P2P traffic (%)64534361Other P2P traffic (%)183176Http traffic (%)2121710Other traffic (%)16322324注：Popular P2P traffic主要是指BT，

31、eDonkey，FastTrack以及Gnutella的流量P2P 技术在中国的大规模应用是从2003 年下半年开始，以BT为代表的P2P 技术急速升温，用户数量飞速发展。作为一种新兴的技术，基于该技术的应用已成为互联网上最流行的应用之一，对整个通信产业和传媒业都带来了巨大的冲击8。(1) 对传统语音业务的冲击VoIP（voice over IP）业务因其低廉的资费冲击着传统的语音业务，据市场咨询公司IDC称，到2009年底VoIP用户将达到2700万。而P2P技术的出现，无疑是给VoIP插上了翅膀，使其保持低资费的条件下，大大提高了服务质量，其语音质量已与传统的PSTN 语音相接近，进一步加

32、速了VoIP对传统语音的替代趋势。典型的代表就是Skype。P2P的VoIP 业务对传统语音业务形成了巨大的分流, 同时也促使电信运营商降低价格应对竞争, 导致了其收入的剧减。(2) 对网络带宽的蚕食在P2P应用出现之前，互联网的主要流量来自于浏览网页、FTP传输和邮件等，下载的业务类型基本上都是基于Client/Server模式的，由于服务器容量等的限制，使用户接入带宽很少处于满的状态。而P2P技术的出现，完全改变了这种状况，用户长时间在线与其他用户共享信息，用户接入带宽长时间处于饱和状态，网络流量急剧上升。目前，P2P应用早已超过HTTP应用，成为互联网上最为普遍的应用，给运营商带来了新的

33、挑战。P2P应用使ISP陷入困境。一方面P2P应用是最终用户的需求，现有的网络结构却难以完全满足；另一方面，ISP没有有效地控制P2P流量的方法，这将导致整个网络的服务质量下降，进而影响其他业务的开展。(3) 内容的扩散无法控制目前各电信运营商都在向综合信息服务提供商转型，需要利用其网络和服务资源优势，整合内容提供商的内容资源，打造整个互联网产业价值链，而这些都要在版权保护的前提下进行。但是在P2P应用中, 每个人都可以向别人提供文件和信息，因此导致数字产品的版权变得难以控制，数字产品的开发商同样也难以向私下共享的网民收取许可费用。目前，虽然P2P下载已新生出许多合法的应用，但非法复制仍是P2

34、P下载的主体，所以它必然更加直接地影响到各版权所有人的利益，因此，P2P的非法内容下载不仅影响了内容版权所有人的利益，也给电信运营商带来了冲击。2.5 目前对P2P应用的解决办法由于P2P的应用对于ISP的冲击是巨大的，这要求ISP尽快找到解决这种状的办法，目前各大ISP对于P2P应用采取的措施9主要有以下几种：(1) 扩容网络，增强基础网络的承载能力扩容网络是传统解决网络带宽拥塞的主要办法，但是由于P2P应用的增长速度迅速，新扩容的网络带宽在扩容后不久就被占用完，因此它只能暂时缓解网络拥挤压力，不能从根本上解决问题。(2) 限制P2P应用根据网络使用的具体情况采取不同的限制措施，比如限制用户

35、带宽、封杀P2P应用、限制P2P连接数目等等。这种办法可以很好的解决网络拥挤的状况，但会引起网络用户的不满，而且从技术实现上，还存在一定的问题。同时，这种方法，也不利于P2P技术的发展，互联网的发展。(3) 实施新的商业运营模式例如恢复互联网初期实行的基于流量的收费方式，实现对用户网络流量的细化管理，从而限制网络用户对P2P应用的使用情况，但是这相对于目前ISP实行的粗放型的宽带包月收费制度，网络用户不太容易接受。从目前情况来看，以上几种方式都存在一定的问题，需要找出一种新的方法来有效控制P2P使用，构建多方共赢的价值网络, 降低网络投资, 提高网络性能, 改进用户体验, 获得更好的经济效益和

36、社会效益。因此，本论文主张采取正确引导P2P流量的策略的方法，提出P2P内容缓存服务器的概念，利用缓存技术，将P2P内容放ISP设置的缓存器中来解决ISP出口拥挤的状况。3 目前一些缓存技术分析和P2P内容缓存系统的可行性3.1 Web Caching技术Web Caching技术是为了解决网络带宽不足、服务质量差而提出来的，它依据统计学原理，将可能进一步使用或重复使用的内容缓存在相对高速的Cache服务器中，当有相同的请求时，直接在Cache中提取，从而提高网络响应效率。Web Caching技术在现有网络架构的基础之上，利用传输本地化的方法达到了优化使用网络带宽、提高网络服务质量、增强网络

37、信息可用性及提高网络灵活性的目的。Web高速缓存服务器10通常是网络中的一个专用的计算机系统，它监视Web对象请求， 获得这些对象， 然后存储这些对象。 其工作原理如图2-1所示。图2-1中，为缓存服务器接受浏览器请求；为缓存服务器从原始服务器获得缓存中的未存储对象(Cache Miss)；为缓存服务器存储获得的对象,并将拷贝发送给浏览器。此后，当用户对相同的对象(网站)提出访问请求时，就由缓存服务器来满足其要求，将已存储对象(Cache Hit)的拷贝发送给浏览器。Web网络缓存系统使得用户请求不必再通过Internet路由到达原始服务器而取回所请求的对象，从而降低了可能引起的服务延迟。同时

38、，Web高速缓存技术的应用还可以缓解Web服务器的负担。因为大量的用户请求不再需要原始服务器进行处理。Web高速缓存技术能够提供一种廉价而可靠的Web服务器负载分担方案。图2-1Web 缓存技术的基本原理Web Caching技术是一种基于客户请求查询的技术，可以称作是一种“拉”的技术，它在技术上的实现主要有三个方面的好处：(1) 节省网络带宽，降低了ISP的运营成本，减少了扩容压力。虽然配备Cache缓存服务器需要成本，但是其成本相对于扩容网络的成本要小很多。(2) 减少了终端用户的响应时间，客户端的效率提高，也增加了用户对ISP的满意度。(3) 网络客观性加强，缓存引擎提供了访问控制与监测

39、策略，使管理员很容易对某些不友好的请求进行隔离；另外，缓存引擎还提供了全面的可操作的日志记录。3.2 CDN内容分发网络3.2.1 CDN工作原理CDN的全称是Content Delivery Network，即内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，解决用户访问网站的响应速度慢的根本原因。CDN的工作原理11：当用户访问已经加入CDN服务的网站时，首先通过DN

40、S重定向技术确定最接近用户的最佳CDN节点，同时将用户的请求指向该节点。当用户的请求到达指定节点时，CDN的服务器（节点上的高速缓存)负责将用户请求的内容提供给用户。 其用户访问的基本流程如下： (1) 用户在浏览器中输入要访问的网站的域名；浏览器向本地DNS请求对该域名的解析；(2) 本地DNS将请求发到网站的主DNS，主DNS再将域名解析请求转发到重定向DNS；(3) 重定向DNS根据一系列的策略确定当时最适当的CDN节点，并将解析的结果（IP地址）发给用户；(4) 用户向给定的CDN节点请求相应网站的内容；(5) CDN节点中的服务器负责响应用户的请求，提供所需的内容。 3.2.2 CD

41、N框架结构CDN网络架构主要由两大部分，分为中心和边缘两部分，中心指CDN网管中心和DNS重定向解析中心，负责全局负载均衡，设备系统安装在管理中心机房，边缘主要指异地节点，CDN分发的载体，主要由Cache和负载均衡器等组成。而根据功能特性，一个典型CDN网络由内容缓存设备、内容交换机、内容路由器、CDN内容管理、内容分发系统五部分组成11，如图2-2所示。各部分功能见表2-1。图2-2 CDN网络组成结构图表2-1 CND各部分功能表内容缓存位于 POP接入点或多点 IDC中，可缓存静态的Web内容和流媒体内容内容交换机在IDC中，可对内容缓存负载平衡及访问控制内容路由器在POP点或IDC中

42、，负载为用户的请求选择最佳的访问站点内容分发系统内容缓存只可缓存静态内容而对于一些要求对其所有分布站点的内容作镜像的用户，我们需要一个内容镜像系统,这就是内容分发系统CDN管理系统由于CDN系统是提供给多个用户共享，所以需要一个中心管理系统作为 CDN的集中管理。3.3 Web Caching与CDN系统比较对于都是为了提高网络服务质量的两种技术Web Caching技术和CDN内容分发网络技术，二者之间具有一定的联系，同时也存在不同之处，表2-2是对两种技术的比较：表2-2 Web Caching与CDN技术比较比较选项Web Caching技术CDN技术设计目标减小客户请求响应时间，节省网

43、络带宽实现手段移动Web内容的位置实现机制客户端到服务器抓取服务器向客户端推送所处位置网络边缘，分布在网络不同位置网络中心和边缘相结合系统特点快速访问、健壮性好、透明性、可扩展性可管理性、安全可靠性技术手段代理缓存、基于组播技术的缓存高速缓存、镜像服务器评价指标客户访问时延、吞吐率、命中率Web服务器负载、Web服务器负载均衡性能特性不理想（35%-50%Web内容不可缓存）性能比较理想服务对象部分客户端部分服务器受益对象所有Web服务器所有客户端CDN中通过位于网络不同节点处的Content Server缓存或复制源服务器的部分或全部内容，并由请求路由功能把不用的用户请求以透明的方式引导至不

44、同的Content Server，这样相对于单纯的Web Caching技术更有效地达到减少网络数据流量、节约网络带宽、缩短用户访问时延等目的，从而提高了网络服务质量。3.4 Web Caching技术可行性报告作为早期解决网页浏览速度不理想的Web Caching技术与P2P内容缓存系统具有很多相似的地方，如都是终端用户首先提出请求，然后利用缓存机制将请求内容放到设置的缓存中，当下次用户请求时，直接到缓存中获取，这样就达到节省网络带宽的目的。但是Web Caching在P2P内容缓存系统中是否可行呢？ 从透明性角度考虑，Web Caching对于客户端是透明的，这符合P2P内容缓存服务器的设

45、计要求。 从实现机制考虑，Web Caching技术采用由客户端请求后，从服务器端抓取的办法，在这点上符合P2P内容缓存服务器的要求。 Web Caching获取的内容是网页内容，据统计用户在浏览网页时，会经常反复的访问某些网页，因此重复率很高，即使网页有内容更新，更新量相对来说不是很多，这时候，Web服务器只用返回更新的内容就可以了。而P2P内容缓存服务器获取的内容包括两个内容：种子和内容文件，其中内容文件中大多数都是娱乐视频资料，此时用户一般不会重复下载，同时这些内容文件不是放在某在固定的服务器上，而是放在某个peer对等节点上，节点的个数也不固定。 Web Caching所处的位置是在网

46、络的边缘，可以靠近客户端，也可以接近服务器端，根据其所处的位置也有所不同。由于P2P应用的特点，每个peer节点既是客户端，也是服务器，所以P2P内容缓存服务器最合适的位置是放在ISP出口处，这样可以为尽可能对的peer节点服务，节约成本，同时也便于管理。 从实现效果来看，Web Caching技术实现起来并不是很理想，有35%-50%的网页不能缓存，这部分中主要是容量比较大的视频图像信息，而P2P内容缓存服务器所需要缓存的主要信息恰恰是视频图像信息，因此，在实现效果和与P2P内容缓存服务器设计要求不符。可行性报告结论：根据以上比较可知，Web Caching技术在不能达到P2P内容缓存服务器

47、设计的要求，其方案不可行。3.5 CDN技术可行性报告互联网媒体分发当前最好的解决方案是一种称作内容传送网络（CDN）的内容传送体系结构。一个良好构建的CDN可以比网站的原始服务器更快、更连贯地传送内容，尤其是媒体内容典型的大对象，而且在本质上没有停机时间。下面是对实现P2P内容缓存服务器设计可行性分析： CDN内容分发网络主要传递内容为大容量的媒体文件，这与目前主流P2P文件下载应用传递内容基本一致。 CDN系统使用的主要技术有两个：高速缓存和镜像服务器，P2P内容缓存服务器使用的是高速缓存服务器，这一点，符合其设计要求。 CDN系统在实现效果上比较理想，性能、可伸缩性和可靠性都很好，节省了

48、网络带宽。因此在实现方面符合P2P内容缓存服务器的设计要求。 CDN内容分发网络是部署在服务器上，而所有的客户端都受益，这与P2P内容缓存服务器将缓存设置在ISP出口处，所有网络接入用户都能受益相符合。 CDN一般为大多数主要的媒体公司利用其解决传递媒体内容的，可管理性强。而P2P内容缓存服务器主要是缓存peer节点发布的内容的，内容分散，主动获取困难，可管理性差。 CDN内容分发网络需要在全球各地设置服务器，成本比较高，而P2P内容下载范围一般没有这么广，不必要全球分布服务器。 CDN内容分发网络提供上传服务，而P2P内容缓存服务器，不仅仅作为缓存服务器向客户端提供上传服务，同时在从原始服务

49、器获取未缓存内容时，作为一个客户端，向原始服务器申请下载资源。可行性报告结论：CDN内容分发网络与P2P内容缓存服务器有很多相同之处，但是在资金投入，运营模式，实现方式上二者之间仍然存在一定的差距，其技术不能达到P2P内容缓存服务器预定的效果，因此其方案不可行。3.6 本章小结在本章中，我们分别展示了Web Caching技术和CDN内容分法网络技术的技术原理以及这两种技术的比较，同时结合目前P2P流量情况进行分析，研究这两种缓存技术是否适合P2P流量的需要，得到以下结论：(1) Web Caching技术和CDN技术在实现方式、运营模式、资金投入等方面不适合P2P流量的需要，不能满足有效控制

50、P2P流量的作用。(2) 由于P2P技术在资源共享方面的独特方式，P2P技术必将能够与B/S模式共存，成为互联网发展的重要技术，P2P流量也将越来越多，因此需要设计一种新型的适用于P2P流量的缓存系统方案。4 P2P内容缓存系统研究与设计4.1 P2P内容缓存系统设计目标P2P技术凭借技术的优越性，在出现不久就很快得到广泛应用，改变了传统的信息共享方式，让网络接入用户享受到快捷便利的信息资源服务。但是同时也带来了一定的负面影响，如版权问题，带宽资源紧缺问题等。对于ISP来说，P2P的快速大规模的使用使ISP的利益受到了很大的影响：带宽资源被P2P应用耗用殆尽，无法满足一些客户带宽的要求；严重冲

51、击了ISP的传统业务收入。面对这种情况，ISP目前最紧要的任务就是提出一套方案来解决上述问题。由于P2P技术有独特的技术优越性，其必将于B/S模式并存，成为互联网发展的两种主要技术，因此对于P2P应用采用的方法应该是正确引导的策略。针对目前情况，本文主张设计出一套P2P内容缓存系统（系统示意图见图3-1）来解决当前网络带宽紧缺问题。其设计目标及要求如下：(1) 通过一定的技术手段，减少ISP出口的P2P连接数量（流量）或是适当降低用户信息的下载速度，实现P2P流量在ISP出口处的压力，从而节省网络带宽。(2) 该系统是一个控制与引导P2P应用的平台，其不但要能支持当前主流P2P应用，同时也要支

52、持以后出现新的P2P应用。(3) 当P2P网络结构发生变化时，能够不改变或是改变很少的一部分仍然可以正常工作。(4) P2P内容缓存系统主要针对消耗网络带宽的P2P应用。(5) 此系统设计对于网络接入用户来说是透明的。(6) P2P内容缓冲系统部署位置：各ISP出口处。(7) 系统资金投入量不能太大。图3-1 P2P内容缓存系统示意图4.2 P2P内容缓存系统总体设计概要目前P2P应用中，以BT为代表的文件内容共享应用是网络带宽的最大“杀手”，其他P2P应用占用带宽量都比较下，而且其信息重复率很小，设置缓存服务器对其无意义，因此该P2P内容缓存服务器系统的主要对象是以BT为代表的文件内容共享应

53、用软件。4.2.1 系统设计层次结构首先，所有的P2P应用都是属于OSI模型的第七层应用层的，其次，所有的P2P 应用都是一种通信过程，无论是通过TCP传输方式，还是UDP方式；最后，由于ISP需要将所有经过ISP路由器的P2P数据检测出来，改变其路由，转发到设置好的P2P内容缓存服务器中，所以，网络层路由转发策略也是系统中很重要的部分。系统层次结构图3-2所示：应用层传输层网络层P2P应用软件TCP或UDP连接路由策略设置图3-2 系统层级结构图4.2.2 系统功能模块P2P内容缓存系统作为ISP出口处控制P2P内容下载的系统，主要有三个任务，发现P2P应用、设置策略控制P2P内容下载、缓存

54、P2P内容，因此根据系统的功能特性将P2P内容缓存系统分为三个模块：(1) P2P路由策略设计部分工作在OSI七层网络模型中的第三层网络层，设置在ISP路由器上。根据P2P数据流的特征进行P2P流量检测，当发现P2P数据时，根据设定的策略路由决定是转发给P2P缓存服务器进行处理，或是从ISP出口通过。(2) P2P缓存策略设计部分这部分的作用是解析终端用户发送的数据包，对用户请求进行分析，并查询P2P内容缓存服务器中有无用户请求数据，有用户请求的数据时，则将数据发送给请求该内容的用户即可，否则，则需要向ISP外的服务器请求下载所需内容，下载完毕之后再将数据转发给请求该内容的用户。同时，设计一个

55、主动下载P2P内容策略，预测用户可能需要下载的P2P内容。(3) P2P内容服务器设计部分由于本系统需要缓存大量的P2P内容数据，所以设置此内容缓存服务器。同时内容缓存服务器中要设置一个数据库系统，存储缓存数据的基本信息，存储路径，存储时间，更新时间，版本信息等。当P2P缓存策略要求查询缓存服务器中有无用户请求数据时，则利用hash算法，查询数据库中有无该信息，有则返回数据“存储路径”，无则返回“无该信息”。另外，由于P2P内容缓存数据库的空间是有限的，所以本部分存在一个信息淘汰算法，淘汰一段时间内没有用户请求下载的P2P内容或者是该P2P内容发生更新的P2P内容。其中文件内容更新部分示意图见

56、图3-3。每个模块完成各自不同的功能，具有很强的独立性，但同时三部分又是一个整体，不可或缺，相互依赖，共同完成系统的设计要求。系统工作原理图见3-4。初始化剩余空间有文件下载更新有无该文件更新数据库（增）无有有等待淘汰有查询记录长时间无下载是否无下载更新数据库（删）无淘汰更新数据库（删）图3-3 文件内容更新示意图对数据包分类用户数据流是不是P2P数据是不是P2P下载路由器将该数据包转发至P2P缓存服务器正常通过ISP出口有无该种子文件有更新吗用户到P2P缓存服务器中下载下载种子和内容是否无有有无下载完了吗是否是否开始结束（与用户断开连接）图3-4 系统工作原理图4.2.3 系统关键技术在前面

57、几个中，我们详细分析了系统设计目标与要求和功能模块设计，可以看出，该系统的关键是系统能够在多用户同时请求P2P内容时快速响应用户请求，提供P2P内容下载业务。其中，存在以下关键技术：(1) P2P流量检测与识别相当于普通数据流量，P2P流量有自己的流量特征，该系统就是要总结P2P流量特征找出一种能够有效识别P2P流量的匹配算法，从而将P2P数据转发通过策略路由转发给P2P内容缓存服务器，详细的P2P流量特征与流量识别见2.3节。(2) 文件存储结构算法用户请求的P2P内容数据首先要存储在P2P内容缓存服务器中，存储这些数据可以采用不同的hash算法，对于不同的关键字生成的hash值哪种方法产生

58、的冲突概率较小，当发生hash值冲突时,要有解决办法，这样才能够使用户取得的P2P内容是用户需要的。(3) socket编程socketbindlistenacceptrecv/recvfromsend/sendtoclosesocketcloserecv/recvfromsend/sendtoconnectbind服务器端客户端图3-5 使用TCP协议socket编程流程图P2P内容缓存系统需要为用户提供P2P内容数据，因此和用户之间存在网络通信，需要涉及到socket编程，socket编程12的基本函数有socket、bind、listen、accept、send、sendto、recv、

59、recvfrom。客户端与服务器端使用不同的传输协议socket编程是不同的，图3-5为使用TCP协议socket编程流程图。(4) 多任务系统P2P内容缓存系统需要同时响应多用户的请求，向用户响应请求种子和内容文件，当客户端下载完毕后断开连接或意外断开连接后，系统关闭连接，释放资源。(5) 文件下载方式对于用户请求的P2P内容，当缓存服务器中不存在时，采取何种方式去获取内容是系统种的一个重要问题，以传统的FTP方式，下载速度慢；以P2P下载方式可以到其拥有该内容的其他节点上下载，速度比较快，但是占用资源较多，影响响应速度。4.3 系统方案设计4.3.1 方案一在BT下载中有一个很重要的部分叫做Tracker服务器，它负责对所有下载者的信息进行维护和处理client端发送的HTTP GET信息。一个BT client 在下载开始以及下载进行的过程中，要不停的与 tracker 服务器进行通信，以报告自己的信息，并获取其它下载client的信息。Tracker 对所有下载者的信息进行维护，确保下载者之间信息的同步。为了使缓存系统更好的支