网络爬虫调查研究报告

《网络爬虫调查研究报告》由会员分享，可在线阅读，更多相关《网络爬虫调查研究报告（12页珍藏版）》请在装配图网上搜索。

1、 窗体顶端网络爬虫调研报告根本原理Spider概述Spider即网络爬虫 ,其定义有广义和狭义之分。狭义上指遵循标准的 协议利用超和 Web文档检索的方法遍历万维网信息空间的软件程序 ;而广义的定义那么是所有能遵循 协议检索 Web文档的软件都称之为网络爬虫。Spider是一个功能很强的自动提取网页的程序 ,它为搜索引擎从万维网上下载网页 ,是搜索引擎的重要组成 .它通过请求站点上的 HTML文档访问某一站点。它遍历 Web空间 ,不断从一个站点移动到另一个站点 ,自动建立索引 ,并参加到网页数据库中。网络爬虫进入某个超级文本时 ,它利用 HTML语言的标记构造来搜索信息及获取指向其他超级文本

2、的 URL地址 ,可以完全不依赖用户干预实现网络上的自动爬行和搜索。Spider的队列1等待队列 :新发现的 URL被参加到这个队列 ,等待被 Spider程序处理 ; 2处理队列 :要被处理的 URL被传送到这个队列。为了防止同一个 URL被屡次处理 ,当一个 URL被处理过后 ,它将被转移到完成队列或者错误队列 (如果发生错误 )。3错误队列 :如果在下载网页是发生错误 ,该 URL将被参加到错误队列。4完成队列 :如果在处理网页没有发生错误 ,该 URL将被参加到完成队列。网络爬虫搜索策略在抓取网页的时候 ,目前网络爬虫一般有两种策略 :无主题搜索与基于某特定主体的专业智能搜索。其中前者

3、主要包括 :广度优先和深度优先。广度优先是指网络爬虫会先抓取起始网页中的所有网页 ,然后再选择其中的一个网页 ,继续抓取在此网页中的所有网页。这是最常用的方式,因为这个方法可以让网络爬虫并行处理 ,提高其抓取速度。深度优先是指网络爬虫会从起始页开场 ,一个一个跟踪下去,处理完这条线路之后再转入下一个起始页 ,继续跟踪。这个方法有个优点是网络爬虫在设计的时候比拟容易。大多数网页爬行器采用宽度优先搜索策略或者是对这种策略的某些改良。在专业搜索引擎中 ,网络爬虫的任务是获取 Web页面和决定的访问顺序 ,它通常从一个“种子集(如用户查询、种子或种子页面 )发,以迭代的方式访问页面和提取。搜索过程中

4、,未访问的被暂存在一个称为“搜索前沿(Spider Frontier)的队列中 ,网络爬虫根据搜索前沿中的“重要程度决定下一个要访问的。如何评价和预测的“重要程度(或称价值 )是决定网络爬虫搜索策略的关键。众多的网络爬虫设计各不一样 ,但归根结底是采用不同的价值评价标准。常用开源网络爬虫介绍及其比拟Nutch开发语言：Javalucene.apache.org/nutch/简介：Apache的子工程之一，属于Lucene工程下的子工程。Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证

5、了系统的可客户化，而且很容易集成到自己的应用之中。Larbin开发语言：C+简介larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sbastien Ailleret独立开发。larbin目的是能够跟踪页面的url进展扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情那么由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。latbin最初的设计也是依据设计简单但是高度可配置性的原那么，因此我们可以看到，一个简单的larbin的爬虫可以每天获取万的网页，非常高效。Heritrix开发

6、语言：Javacrawler.archive.org/简介与Nutch比拟Heritrix 和 Nutch。二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子工程，它们都称作网络爬虫/蜘蛛Web Crawler，它们实现的原理根本一致：深度遍历的资源，将这些资源抓取到本地，使用的方法都是分析每一个有效的URI，并提交 请求，从而获得相应结果，生本钱地文件及相应的日志信息等。Heritrix 是个 archival crawler - 用来获取完整的、准确的、站点容的深度复制。包括获取图像以及其他非文本容。抓取并存储相关的容。对容

7、来者不拒，不对页面进展容上的修改。重新爬行对一样的URL不针对先前的进展替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。二者的差异：Nutch 只获取并保存可索引的容。Heritrix那么是照单全收。力求保存页面原貌Nutch 可以修剪容，或者对容格式进展转换。Nutch 保存容为数据库优化格式便于以后索引；刷新替换旧的容。而Heritrix 是添加(追加)新的容。Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。Nutch 的定制能力不够强，不过现在已经有了一定改良。Heritrix 可控制的参数更多。Heritrix提供的功能没有nut

8、ch多，有点整站下载的味道。既没有索引又没有解析，甚至对于重复爬取URL都处理不是很好。Heritrix的功能强大但是配置起来却有点麻烦。三者的比拟一、从功能方面来说，Heritrix与Larbin的功能类似。都是一个纯粹的网络爬虫，提供的镜像下载。而Nutch是一个网络搜索引擎框架，爬取网页只是其功能的一局部。二、从分布式处理来说，Nutch支持分布式处理，而另外两个好似尚且还没有支持。三、从爬取的网页存储方式来说，Heritrix和 Larbin都是将爬取下来的容保存为原始类型的容。而Nutch是将容保存到其特定格式的segment中去。四，对于爬取下来的容的处理来说，Heritrix和

9、Larbin都是将爬取下来的容不经处理直接保存为原始容。而Nutch对文本进展了包括分析、正文提取、建立索引Lucene索引等处理。五，从爬取的效率来说，Larbin效率较高，因为其是使用c+实现的并且功能单一。表 3种爬虫的比拟crawler开发语言功能单一支持分布式爬取效率镜像保存NutchJava低LarbinC+高HeritrixJava中其他网络爬虫介绍：Heritrix Heritrix是一个开源，可扩展的web爬虫工程。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。crawler.archive.org/WebSPHINX WebS

10、PHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两局部组成：爬虫工作平台和WebSPHINX类包。.cs u.edu/rcm/websphinx/WebLech WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。 Arale主要为个人使用而设计，而没有像其它爬虫一样是关注于页面索引。Arale能够下载整个web站点或来自web站点的某些资源。Arale还能够把动态页面映射

11、成静态页面。web.tiscali.it/_flat/arale.jsp.htmlJ-Spider J-Spider:是一个完全可配置和定制的Web Spider引擎.你可以利用它来检查的错误(在的效劳器错误等),外部检查，分析的构造(可创立一个地图),下载整个Web站点，你还可以写一个JSpider插件来扩展你所需要的功能。j- spindle 是一个构建在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创立索引的 spider和一个用于搜索这些索引的搜索类。spindle工程提供了一组JSP标签库使得那些基于JSP的站点不需要开发任何Java类就能够增加搜索功能。.bitmec

12、hanic./projects/spindle/Arachnid Arachnid: 是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。 LARM能够为Jakarta Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含能够为文件，数据库表格建立索引的方法和为Web站点建索引的爬虫。 JoBo 是一个用于下载整

13、个Web站点的简单工具。它本质是一个Web Spider。与其它下载工具相比拟它的主要优势是能够自动填充form(如：自动登录)和使用cookies来处理session。JoBo还有灵活的下载规那么(如：通过网页的URL，大小，MIME类型等)来限制下载。 snoics -reptile是用纯Java开发的，用来进展镜像抓取的工具，可以使用配制文件中提供的URL入口，把这个所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地，包括网页和各种类型的文件，如：图片、flash、mp3、zip、rar、exe等文件。可以将整个完整地下传至硬盘，并能保持原有的构造准确不变。只需要把抓取下来的放到

14、web效劳器(如：Apache)中，就可以实现完整的镜像。Web-Harvest Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正那么表达式等这些技术来实现对text/xml的操作。web-spiderpyspiderpy是一个基于Python编码的一个开源web爬虫工具，允许用户收集文件和搜索，并有一个可配置的界面。 Spider Web Network Xoops Mod Team pider Web Network Xoops Mod是一个Xoops下的模块，

15、完全由PHP语言实现。.tswn./larbinlarbin是个基于C+的web爬虫工具，拥有易于操作的界面，不过只能跑在LINUX下，在一台普通PC下larbin每天可以爬5百万个页面(当然啦，需要拥有良好的网络)爬虫存在的问题1. robots.txt robots.txt是一个纯文本文件，在这个文件中管理者可以声明该中不想被robots访问的局部，或者指定搜索引擎只收录指定的容。当一个搜索机器人有的叫搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的容来确定访问的围；如果该文件不存在，那么搜索机器人就沿着抓取。另外，ro

16、bots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。2. 有些类型的网页难以爬取。例如，使用javascript调用的页面、需要注册才能访问的页面等。网络爬虫的相关研究工作有些类型的网页难以爬取。例如，使用javascript调用的页面、需要注册才能访问的页面等，对于这些网络的爬取被归结为深层网络的挖掘。这些网页可归结为如下几类：1通过填写表单形成对后台再现数据库查询得到的动态页面。2由于缺乏被指向的超而没有被索引到的页面。3需要注册或其他限制访问的页面。4可访问的非网页文件。在曾伟辉等人的文章中，对这类问题进展了综述。在王映等人的文章中，提出了使用一个嵌入式的JavaScr

17、ipt引擎来进展动态网页采集的方法。1. 有些非静态的Web2.0的容动态生成，数据量巨大，难以抓取，例如论坛等。在2008年SIGIR中，Yida Wang等提出了一种爬取论坛的爬取方法。2. 有些会限制网络爬虫的爬取，Analia G. Lourenco, Orlando O. Belo 在2006年提出来使用查询日志的方法限制网络爬虫的活动以减轻效劳器压力。3. 网络上的网页数量太大，在爬取时需要考虑爬取的时间及效率等问题，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。4. 主题网络爬虫研究未来研究方向分布式网络爬虫并行网络爬虫特定领域如论坛，博客等的爬取关于A

18、jax技术的深层网络爬虫研究。多媒体网络爬虫研究对等网络P2P,Peer to Peer网络爬虫参考文献：1 国强等，?基于Web的网络爬虫技术研究?2 Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir 083 Junghoo Cho(UCLA), Hector Garcia-Molina( Standford), Parallel Crawlers, 20024 Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE065 曾伟辉等

19、，?深层网络爬虫研究综述?，计算机系统应用 2008年第5期6 王映、于满泉等，?JavaScript引擎在动态网页采集技术中的应用?，中科院计算所、微软亚洲研究院网络爬虫调研报告根本原理Spider概述Spider即网络爬虫 ,其定义有广义和狭义之分。狭义上指遵循标准的 协议利用超和 Web文档检索的方法遍历万维网信息空间的软件程序 ;而广义的定义那么是所有能遵循 协议检索 Web文档的软件都称之为网络爬虫。Spider是一个功能很强的自动提取网页的程序 ,它为搜索引擎从万维网上下载网页 ,是搜索引擎的重要组成 .它通过请求站点上的 HTML文档访问某一站点。它遍历 Web空间 ,不断从一个

20、站点移动到另一个站点 ,自动建立索引 ,并参加到网页数据库中。网络爬虫进入某个超级文本时 ,它利用 HTML语言的标记构造来搜索信息及获取指向其他超级文本的 URL地址 ,可以完全不依赖用户干预实现网络上的自动爬行和搜索。Spider的队列1等待队列 :新发现的 URL被参加到这个队列 ,等待被 Spider程序处理 ; 2处理队列 :要被处理的 URL被传送到这个队列。为了防止同一个 URL被屡次处理 ,当一个 URL被处理过后 ,它将被转移到完成队列或者错误队列 (如果发生错误 )。3错误队列 :如果在下载网页是发生错误 ,该 URL将被参加到错误队列。4完成队列 :如果在处理网页没有发生

21、错误 ,该 URL将被参加到完成队列。网络爬虫搜索策略在抓取网页的时候 ,目前网络爬虫一般有两种策略 :无主题搜索与基于某特定主体的专业智能搜索。其中前者主要包括 :广度优先和深度优先。广度优先是指网络爬虫会先抓取起始网页中的所有网页 ,然后再选择其中的一个网页 ,继续抓取在此网页中的所有网页。这是最常用的方式,因为这个方法可以让网络爬虫并行处理 ,提高其抓取速度。深度优先是指网络爬虫会从起始页开场 ,一个一个跟踪下去 ,处理完这条线路之后再转入下一个起始页 ,继续跟踪。这个方法有个优点是网络爬虫在设计的时候比拟容易。大多数网页爬行器采用宽度优先搜索策略或者是对这种策略的某些改良。在专业搜索引

22、擎中 ,网络爬虫的任务是获取 Web页面和决定的访问顺序 ,它通常从一个“种子集(如用户查询、种子或种子页面 )发,以迭代的方式访问页面和提取。搜索过程中 ,未访问的被暂存在一个称为“搜索前沿(Spider Frontier)的队列中 ,网络爬虫根据搜索前沿中的“重要程度决定下一个要访问的。如何评价和预测的“重要程度(或称价值 )是决定网络爬虫搜索策略的关键。众多的网络爬虫设计各不一样 ,但归根结底是采用不同的价值评价标准。常用开源网络爬虫介绍及其比拟Nutch开发语言：Javalucene.apache.org/nutch/简介：Apache的子工程之一，属于Lucene工程下的子工程。Nu

23、tch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。Larbin开发语言：C+简介larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sbastien Ailleret独立开发。larbin目的是能够跟踪页面的url进展扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情那么由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。lat

24、bin最初的设计也是依据设计简单但是高度可配置性的原那么，因此我们可以看到，一个简单的larbin的爬虫可以每天获取万的网页，非常高效。Heritrix开发语言：Javacrawler.archive.org/简介与Nutch比拟Heritrix和 Nutch。二者均为Java开源框架，Heritrix是 SourceForge上的开源产品，Nutch为Apache的一个子工程，它们都称作网络爬虫/蜘蛛Web Crawler，它们实现的原理根本一致：深度遍历的资源，将这些资源抓取到本地，使用的方法都是分析每一个有效的URI，并提交 请求，从而获得相应结果，生本钱地文件及相应的日志信息等。 He

25、ritrix 是个 archival crawler 用来获取完整的、准确的、站点容的深度复制。包括获取图像以及其他非文本容。抓取并存储相关的容。对容来者不拒，不对页面进展容上的修改。重新爬行对一样的URL不针对先前的进展替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。二者的差异：Nutch 只获取并保存可索引的容。Heritrix那么是照单全收。力求保存页面原貌Nutch 可以修剪容，或者对容格式进展转换。Nutch 保存容为数据库优化格式便于以后索引；刷新替换旧的容。而Heritrix 是添加(追加)新的容。Nutch 从命令行运行、控制。Heritrix 有

26、Web 控制管理界面。Nutch 的定制能力不够强，不过现在已经有了一定改良。Heritrix 可控制的参数更多。Heritrix提供的功能没有nutch多，有点整站下载的味道。既没有索引又没有解析，甚至对于重复爬取URL都处理不是很好。Heritrix的功能强大但是配置起来却有点麻烦。三者的比拟一、从功能方面来说，Heritrix与Larbin的功能类似。都是一个纯粹的网络爬虫，提供的镜像下载。而Nutch是一个网络搜索引擎框架，爬取网页只是其功能的一局部。二、从分布式处理来说，Nutch支持分布式处理，而另外两个好似尚且还没有支持。三、从爬取的网页存储方式来说，Heritrix和 Larb

27、in都是将爬取下来的容保存为原始类型的容。而Nutch是将容保存到其特定格式的segment中去。四，对于爬取下来的容的处理来说，Heritrix和 Larbin都是将爬取下来的容不经处理直接保存为原始容。而Nutch对文本进展了包括分析、正文提取、建立索引Lucene索引等处理。五，从爬取的效率来说，Larbin效率较高，因为其是使用c+实现的并且功能单一。表 3种爬虫的比拟crawler开发语言功能单一支持分布式爬取效率镜像保存NutchJava低LarbinC+高HeritrixJava中其他网络爬虫介绍：Heritrix Heritrix是一个开源，可扩展的web爬虫工程。Heritr

28、ix设计成严格按照robots.txt文件的排除指示和META robots标签。crawler.archive.org/WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两局部组成：爬虫工作平台和WebSPHINX类包。.cs u.edu/rcm/websphinx/WebLech WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。 Arale

29、主要为个人使用而设计，而没有像其它爬虫一样是关注于页面索引。Arale能够下载整个web站点或来自web站点的某些资源。Arale还能够把动态页面映射成静态页面。web.tiscali.it/_flat/arale.jsp.htmlJ-Spider J-Spider:是一个完全可配置和定制的Web Spider引擎.你可以利用它来检查的错误(在的效劳器错误等),外部检查，分析的构造(可创立一个地图),下载整个Web站点，你还可以写一个JSpider插件来扩展你所需要的功能。j- spindle 是一个构建在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创立索引的 spider和一

30、个用于搜索这些索引的搜索类。spindle工程提供了一组JSP标签库使得那些基于JSP的站点不需要开发任何Java类就能够增加搜索功能。.bitmechanic./projects/spindle/Arachnid Arachnid: 是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。 LARM能够为Jakarta Lucene

31、搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含能够为文件，数据库表格建立索引的方法和为Web站点建索引的爬虫。 JoBo 是一个用于下载整个Web站点的简单工具。它本质是一个Web Spider。与其它下载工具相比拟它的主要优势是能够自动填充form(如：自动登录)和使用cookies来处理session。JoBo还有灵活的下载规那么(如：通过网页的URL，大小，MIME类型等)来限制下载。 snoics -reptile是用纯Java开发的，用来进展镜像抓取的工具，可以使用配制文件中提供的URL入口，把这个所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地，包括网页和各种

32、类型的文件，如：图片、flash、mp3、zip、rar、exe等文件。可以将整个完整地下传至硬盘，并能保持原有的构造准确不变。只需要把抓取下来的放到web效劳器(如：Apache)中，就可以实现完整的镜像。Web-Harvest Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正那么表达式等这些技术来实现对text/xml的操作。web-spiderpyspiderpy是一个基于Python编码的一个开源web爬虫工具，允许用户收集文件和搜索，并有一个可配置的界面。

33、 Spider Web Network Xoops Mod Team pider Web Network Xoops Mod是一个Xoops下的模块，完全由PHP语言实现。.tswn./FetchgalsFetchgals是一个基于perl多线程的Web爬虫，通过Tags来搜索图片。 s:/larbin是个基于C+的web爬虫工具，拥有易于操作的界面，不过只能跑在LINUX下，在一台普通PC下larbin每天可以爬5百万个页面(当然啦，需要拥有良好的网络)爬虫存在的问题1. robots.txt robots.txt是一个纯文本文件，在这个文件中管理者可以声明该中不想被robots访问的局部，

34、或者指定搜索引擎只收录指定的容。当一个搜索机器人有的叫搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的容来确定访问的围；如果该文件不存在，那么搜索机器人就沿着抓取。另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。2. 有些类型的网页难以爬取。例如，使用javascript调用的页面、需要注册才能访问的页面等。网络爬虫的相关研究工作有些类型的网页难以爬取。例如，使用javascript调用的页面、需要注册才能访问的页面等，对于这些网络的爬取被归结为深层网络的挖掘。这些网页可归结为如下几类：1通过

35、填写表单形成对后台再现数据库查询得到的动态页面。2由于缺乏被指向的超而没有被索引到的页面。3需要注册或其他限制访问的页面。4可访问的非网页文件。在曾伟辉等人的文章中，对这类问题进展了综述。在王映等人的文章中，提出了使用一个嵌入式的JavaScript引擎来进展动态网页采集的方法。1. 有些非静态的Web2.0的容动态生成，数据量巨大，难以抓取，例如论坛等。在2008年SIGIR中，Yida Wang等提出了一种爬取论坛的爬取方法。2. 有些会限制网络爬虫的爬取，Analia G. Lourenco, Orlando O. Belo 在2006年提出来使用查询日志的方法限制网络爬虫的活动以减轻效

36、劳器压力。3. 网络上的网页数量太大，在爬取时需要考虑爬取的时间及效率等问题，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。4. 主题网络爬虫研究未来研究方向分布式网络爬虫并行网络爬虫特定领域如论坛，博客等的爬取关于Ajax技术的深层网络爬虫研究多媒体网络爬虫研究对等网络P2P,Peer to Peer网络爬虫参考文献：1 国强等，?基于Web的网络爬虫技术研究?2 Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir 083 Junghoo Cho(UCLA), Hector Garcia-Molina( Standford), Parallel Crawlers, 20024 Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE065 曾伟辉等，?深层网络爬虫研究综述?，计算机系统应用 2008年第5期6 王映、于满泉等，?JavaScript引擎在动态网页采集技术中的应用?，中科院计算所、微软亚洲研究院12 / 12