《主控网状通信策略在web搜集系统中的应用及模拟分析(一)》由会员分享，可在线阅读，更多相关《主控网状通信策略在web搜集系统中的应用及模拟分析(一)（3页珍藏版）》请在装配图网上搜索。
1、主控网状通信策略在web 搜集系统中的应用及模拟分析(一)摘要：搜索引擎所处理的对象是Web 上成千上万的Web 服务器通过网页之间的链接构成的海量信息，各个主机之间的联系或多或少，但都可以说是相对独立的本文研究了网状主控通信策略在web 搜集系统中的应用情况。关键词：主控网状通信策略web 搜集系统中模拟0 引言搜索引擎已经成为快速、准确地在纷繁的信息网中定位自己所需东西的重要手段。然而要在搜索引擎中尽可能地找到用户所需信息，就要求搜索引擎索引尽可能多的网页。因此索引网页数量是评价一个搜索引擎好坏的关键因素之一。要索引更多的网页就要获取更多的网页，因此高效地获取网页是一个好搜索引擎的基础。然
2、而，单机系统受限于 CPU的处理能力、磁盘存储的容量，而最致命的是系统可扩展性低，扩大规模的唯一方法是换成处理能力更强的系统，巨大的成本是难以令人接受的。采用可扩展并行分布式计算机系统结构处理Web 上的海量信息，成为很自然和诱人的方案，扩大分布式系统处理能力只需要增加机器即可。并行分布技术的可实现性来自计算机网络速度的不断提高，交换技术保证各节点的通信可以相互独立，而不是像共享式技术一样所有节点共享全部带宽。在10M 以太网的环境下，文件传输的速度可以达到1MB/s;在 100M 以太网的环境下，文件传输的速度可以达到 10MB/s。一个以太网帧的最大长度是1518 个字节，在 10M 以太
3、网的环境下传输时间是1.2 毫秒；如果在千兆网环境下传输时间则是12 微秒，这个时间延迟对于大多数应用都是可以忽略的。本文研究了网状主控通信策略在 web 搜集系统中的应用情况。1web 搜集系统概述一个完整的 web 搜集系统主要包括搜集系统、索引系统、检索系统等不同组成部分，其中 Web 信息搜集系统是核心部件。系统分布的核心是数据的分布。对搜集部分而言，实际是将 URL 分布在执行搜集任务的机器之间，保证它们搜集的 URL 不会重复。对查询部分，则是将索引数据分布在执行检索任务的机器之间。搜集节点之间相互协调，分配 URL，保证每个 Web 主机的全部网页只能存在于一个搜集节点上。每个索
4、引节点对应搜集节点搜集的网页，查询代理节点通过多播向所有索引节点发送查询命令，等待搜集到全部索引节点返回的检索结果后，对所有结果依据相关度排序，并缓存一定数量的结果，最后向用户返回结果的首页。用户的后续查询（翻页） ，将会在缓存命中，不必再次启动后面的网络查询，这将大大减少查询的响应时间，降低后面查询系统的负载，从而提高查询系统的性能。2web 搜集系统的主控通信策略2.1 主控通信策略的类型整个Web 可以看作是一张有向图G=(V，E)组成， V 表示网页的 URL，E 表示两个网页之间存在的超链接URL，即一个网页中有另一个网页的URL。对于图中任意两个顶点Vi，VjV，如果 Vi 到 V
5、j 有路径，则称 Vi 与 Vj 是连通的。假设存在集合Vs，其中初始仅起始 URL，随着对 G 的遍历，不断的扩充Vs，对于 G 中任意一个ViV，存在 VsiVs，从 Vsi 到 Vi 有路径，则认为G 是连通的。所以Web 的搜集过程可以看作是从集合Vs 出发，发现有向图 G 中所有 V 的过程。为了尽快的发现有向图G 中所有的 V，应该采用多个搜集分系统从多个起始URL 开始。考虑到网络速度限制和集中式系统中单台机器性能的限制，应该采用分布式并行工作。因此就存在一个主控通信的问题，一般主控通信策略主要包括以下两种： 主控环形通信策略，邻近的主控之间建立连接，形成环状图。外发URL 的传送可以选定顺时针或逆时针方向。 主控网状通信策略，各主控制之间两两建立连接，形成一个外发网状图。外发URL的传送可以直接传递。
主控网状通信策略在web搜集系统中的应用及模拟分析(一)
