可扩展并行机群系统

《可扩展并行机群系统》由会员分享，可在线阅读，更多相关《可扩展并行机群系统（6页珍藏版）》请在装配图网上搜索。

1、可扩展并行机群系统一、机群系统的组成机群系统是利用高速通用网络将一组高性能工作站或高档PC机，按某种结构连接起来，在并行程序设计以及可视化人机交互集成开发环境支持下，统一调度，协调处理，实现高效并行处理的系统。从结构和结点间的通信方式来看，它属于分布存储系统，主要利用消息传递方式实现各主机之间的通信，由建立在一般操作系统之上的并行编程环境完成系统的资源管理及相互协作，同时也屏蔽工作站及网络的异构性。对程序员和用户来说，机群系统是一个整体的并行系统。机群系统中的主机和网络可以是同构的，也可以是异构的。目前已实现和正在研究中的机群系统大多采用现有商用工作站和通用LAN网络，这样既可以缩短开发周期，

2、又可以利用最新的微处理器技术。大多数机群系统的并行编程环境也是建立在一般的Unix操作系统之上，尽量利用商用系统的研究成果，减少系统的开发与维护费用。 从应用的角度看，在机群系统出现以前，并行处理系统主要有三大类：第一类是多向量处理系统，以CRAYYMP-90、NECSX-3和FUJITSUVP-2000等为代表；第二类是基于共享存储的多处理机系统，如SGIChallenge和SunSparcCenter2000；第三类是基于分布存储的大模并行处理系统（MPP），比如IntelParagon、CM-5、CrayT3D等。上述第一和第三类系统由于研制费用高、售价高等因素，其市场受到一定的限制。第

3、二类系统由于共享结构的限制，系统的规模不可能很大。RISC技术、网络技术和并行编程环境的发展使得机群系统这一新的并行处理系统形式正成为当前研究的热点。由于RISC技术的发展，使得微处理器的性能不断提高。高档芯片的运算能力平均每年增长30%，价格不断降低，直接使用商用工作站或PC机作为运算结点的机群系统在结点性能上能够同处理器的发展保持同步增长。 网络技术的进步使得松散耦合系统的通信瓶颈逐步得到缓解。网络传输速度的提高，有效地提高了应用程序之间的通信带宽。快速以太网的速率为100Mbps，ATM局域网的带宽达到155Mbps,622Mbps的产品也已经研制成功。而开关技术的发展则大幅度地降低了传

4、输延迟，使得许多高速局域网能和MPP中的专用互连网络的性能相当。例如，由MyriCom公司生产的Myrinet，提供1.28Gbps的双向链路，已经和专用网络的带宽接近，它的开关延迟每级只有1(s。采用这种网络的机群系统加上新的协议控制机制，点-点的往返延迟只有十几(s到几十(s。UIUC研制的FastMessag平均往返延迟只有12(s，UCBerkeley的ActiveMessage为36(s,与CM-5的专用网络相当，比MeikoCS-2的延迟还要小。 并行编程环境的开发使得新编并行程序或改写串行程序更为容易。并行应用程序的开发和不同系统之间的可移植性一直是传统并行系统能否广泛应用的一个

5、关键。由于机群系统的发展，近年来出现了多个并行程序开发及运行系统，比如PVM、MPI、Express、Linda、P4等。这些系统的适应平台非常广，应用程序在这些系统上的可移植性较好，特别是PVM和MPI，由于其开放性，受到许多大学和研究机构都有广泛的重视，在这些环境下开发了许多应用程序。 这些技术的进步使得机群系统这一并行处理的新的结构形式受到广泛的的关注，国外许多大学和计算机公司都在进行这方面的研究和开发工作。二、机群系统的特点 机群系统之所以能够从技术可能发展到实际应用，主要原因是它与传统的并行处理系统相比有以下几个明显的特点： 1.系统开发周期短由于机群系统大多采用商用工作站和通用LA

6、N网络，使结点主机及系统管理相对容易，且可靠性高。开发的重点在通信和并行编程环境上，既不用重新研制计算结点，又不用重新设计操作系统和编译系统，节省了大量的研制时间。2.用户投资风险小用户在购置传统巨型机或MPP系统时会担心使用效率不高，系统性能发挥不好，从而浪费大量资金。而机群系统不仅是一个并行处理系统，它的每个结点同时也是一台独立的工作站，即使整个系统对某些应用问题并行效率不高，但它的结点仍然可以作为单个工作站使用。3.系统价格低由于生产批量小，传统巨型机或MPP的价格都比较昂贵，往往要几百万到上千万美元。而构成机群的工作站或高档PC机是批量生产的，因而售价较低。由近十台或几十台工作站组成的

7、机群系统可以满足相当多数应用的要求，且价格较低。4.节约系统资源由于机群系统的结构比较灵活，可以将不同体系结构，不同性能的工作站连在一起，这样就可以充分利用现有设备。从使用效率上看，机群系统的资源利用率也比单机系统要高得多。UCBerkeley计算机系100多台工作站的使用情况调查表明，一般单机系统的使用率不到10%，而机群系统中的资源利用率可达到80%左右。另一方面，即是用户设备更新，原有的一些性能较低或型号较旧的机器在机群系统中仍可发挥作用。5.系统扩展性好从规模上说，机群系统大多使用通用网络，系统扩展容易；从性能上说，对大多数中、粗粒度的并行应用都有较高的效率。清华大学计算机系研制的可扩

8、展机群系统测试的结果表明，8台工作站的加速比可以达到5.837.9，并行处理的效率为72.88%99%。6.用户编程方便机群系统中，程序的并行化只是在原有的C、C+或Fortran串行程序中，插入相应的通信原语。用户使用的仍然是熟悉的编程环境，不用适应新的环境，这样就可以继承原有软件财富。三、机群系统研究的主要问题 1.高效的通信系统 机群系统一般使用通用局域网连接，目前常用的局域网技术大体可以分成两类：一类是共享介质网络，最常见的是10Mbps或100Mbps的Ethernet；另一类是开关网络，比如155Mbps/622Mbps的ATM、640Mbps/1.28Gbps的Myrinet和1

9、00Mbps的交换式Ethernet。对于共享介质网络，由于其聚合网络频带与单独链路频带是一样的，其性能会随网络负载的增加而下降，特别是对于某些负载比较集中的应用程序，这种影响会更明显。但是售价便宜，组成系统也相对容易，是组成中低档机群系统的一种较好的选择。而开关网络则相反，其聚合网络频带比单独的链路频率带要高得多，理论上讲是N倍；除开关的交换延迟影响外，性能不会随网络负载的增加而降低很多；开关网络的另一个优点是其可扩展性较好，由于Wormhole、Cut-through等交换技术的发展，交换延迟已经很低，与发送接收端的开销相比要小得多。比如，Myrinet开关的一次交换延迟小于1us，一个中

10、等规模的机群系统（16-32台）的点-点的往返延迟仅有几十us。但是交换开关及相应接口卡的售价要高得多，组成机群系统的价格相对也比较高，对系统的普及会受到一定影响，参见表。表几种常用局域网的性能价格情况类型速度TCP/IP往返延迟(s)接口价格(千元)实现灵活性Ethernet10Mbps14384/-1差FastEthernet100Mbps134715/851.5差ATM155/622Mbps1285-/21015一般Myrinet640/1280Mbps1506-/2012好在不考虑网络负载的情况下，一般使用点-点的应用程序的可见带宽和往返延迟来衡量通信系统的性能。应用程序可见带宽说明了

11、网络的长消息包的传输性能，虽然由于网络技术的飞速发展，网络的物理链路越来越快，但是应用程序的可见带宽比链路速度要小得多，主要原因有网卡接口的硬件限制、协议处理开销和操作系统开销。例如，Myrinet的物理链路是双向的640Mbps，而在TCP/IP协议上点-点的应用程序可见带宽只有38Mbps。往返延迟是1字节或0字节数据消息包的往返传输时间，它说明了网络短消息包的传输性能。新的网络技术大幅度地提高了传输速度，但往返延迟没有太大变化。从表1可以看出，快速以太网、ATM和Myrinet在TCP/IP上的往返延迟与10Mbps的延迟相差不多。目前，通信系统的研究方向主要是在减小往返延迟和提高链路带

12、宽的利用率上，实现方法有精简协议处理，开发新的通信机制和减少系统开销。2.并行程序设计环境PVM、MPI、Express、P4等基于MessagePassing方式的并行程序设计环境为并行程序的设计和运行提供一个整体系统和各种辅助工具。它们的功能包括提供统一的虚拟机、定义和描述通信原语、管理系统资源、提供可移植的用户编程接口和多种编程语言的支持。目前研制的机群系统大多支持PVM和MPI，除了适应广泛的硬件平台和编程方便等特点之外，它们都是免费软件，所以在支持语言、容错及工具等方面都不完善，许多研究机构和大学正在做这方面的研究工作。开发并行应用程序要比开发串行程序困难得多，它涉及多个处理器之间的

13、数据交换与同步，要解决数据划分、任务分配、程序调试和性能评测等问题，需要相应支持工具，比如并行调试器、性能评测工具、并行化辅助工具，它们对程序的开发效率与运行效率都有重要的作用。目前，提供工具较完善的系统有FAUST、Express、TOPSYS和VIDE。3.多种并行语言的支持并行程序设计语言是并行系统应用的基础，已有的机群系统大多支持Fortran、C和C+,实现的方法主要是使用原有顺序编译器链接并行函数库，比如PVM、MPI，或者加入预编译，比如Multi-threadC,MPC+。目前机群系统并行程序设计语言的研究主要在三个方面：扩展原有顺序语言，提供广泛的并行语言支持，例如，清华大学

14、可扩展机群系统的ADA、MPC+；提供全新的并行语言，比如Occam；研究自动化并行编译方法，直接将顺序程序编译成并行代码，目前比较成功的有UIUC的Polaris、Stanford的SUIF和复旦大学的AFT。4.全局资源的管理与利用有效地管理系统中的所有资源是机群系统的一个重要方面，常用的并行编程环境PVM,MPI等对这方面的支持都比较弱，仅提供统一的虚拟机。主要原因是结点的操作系统是单机系统，不提供全局服务支持，同时也缺少有效的全局共享方法。UCBerkeley的NOW项目中提出，在一般操作系统（Unix、Linux、WindowsNT等）之上建立一个全局UnixGLUnix，以解决机群

15、系统中的所有资源管理，包括组调度、资源分配和并行文件系统。一般认为其中的并行文件系统对提高系统的性能潜力最大，即所谓TerabytesTeraflops,就是说目前限制并行程序性能的因数主要来自I/O瓶颈，提高I/O性能的方法较之提高CPU速度更能增强并行系统的性能。随着网络技术的发展，通信延迟越来越小，网络访问比本地磁盘访问要快得多。在155Mbits/s的ATM网络上，读取其他结点的内存100MBytes的时间是读取本地磁盘的1/5。现在的工作站和高档PC机都配有相当多的内存(32M64MB)，整个机群系统的全部内存是一个很大的资源，利用其他结点的空闲内存作为本地结点的虚拟内存和文件缓存，

16、可以节省相当多的访盘时间。据UCBerkeley的实验统计，对需要经常访盘的应用程序，使用这种方式可以比使用本地磁盘快510倍。除了这几个主要方面的研究之外，还有许多特定应用方面的研究，比如，广播、多播等全局操作的高效实现、DSM并行模型的支持、并行I/O的研究等。四、机群系统的应用高性能计算机系统一般用于解决大容量存储、大数据量计算等需要大幅度降低处理时间以提高生产效率的应用问题。许多对经济、科技和人类社会的发展有广泛影响的重大应用问题都存在固有的并行性，但是近几年来由于价格、效率等因素的影响，传统巨型机、MPP的应用受到一定的限制，而机群系统提供了一种建立从中小规模到大规模并行处理系统的可

17、扩展的方法，是解决许多有关国计民生的重大计算问题的可行途径之一。但从目前机群系统的通信性能看，这类系统解决粗粒度的应用问题比较有效。 1.石油地震数据处目前，三维地震勘探是油气勘探中行之有效的手段，也是解决地质勘探任务的重要方法。但是三维地震勘探在具体实施过程中存在一些问题：数据量大、计算量大和处理周期长。IBM高级地震研究小组ASPG，利用五台RS/6000工作站构成的机群系统，运行3-D偏移程序，达到了巨型机的效率。2.数值天气预报数值预报主要用离散方法求解复杂的非线性方程，计算范围可以包括整个大气层，因此数据量大、计算复杂，而天气预报的实时性又要求在限定时间内给出结果。适合于我国高原地区

18、复杂地形条件下的有限区域的YH数值天气预报模式和美国大气科学研究中心研制的MM5中尺度数值预报模式在8个结点的SCAPE机群系统上加速比达到6。 3.CAD图像处理许多图像处理的并行化都可以采用二维分块法实现，这类算法并行度高，加速效果明显。北京高华计算机公司开发的计算机辅助设计软件，采用光线跟踪法生成高度真实感形体图像的算法和分数维测试程序在机群系统上的并行效率达到87%。清华大学计算机系研制的SCAPE机群系统对石油地球物理勘探研究院的三维深度偏移、模拟地震作业和GRI，国家气像中心的数值天气预报、MM5中尺度数值预报等大量实际应用程序进行了测试，结果加速比达到5.83-7.98（8台），

19、效率最高的为99.5。五、机群系统的发展及展望随着对机群系统研究工作的开展，世界上许多大学和实验室都建立了实验机群系统，并进行了许多应用测试，结果表明大量的并行应用程序都能在机群系统上有很好的效率。据统计，美国Livermore国家实验室的90的应用问题都能在机群系统上解决。如，UCBerkeley用53台DECstation5000/133组成的实验机群系统测试了多种应用程序，并对机群系统的各组成部分对传输延迟的影响作了分析。四台SunSPARCStation20和Myrinet组成Web服务器是目前响应最快、吞吐率最高的服务器之一。现在正在研制由100个高性能处理器组成的NOW机群系统，并

20、提出了一些新的研究问题，比如全局Unix,NetworkRAM等。随着网络技术的发展和对机群系统研究的深入，特别是高效通信机制的开发，机群系统的通信性能将会接近专用的互连网络，并行编程环境和工具更加完善，有望在机群系统上解决粒度更细的应用问题，使并行处理系统的应用领域更加广泛。除了传统的大规模并行计算和工程设计外，机群系统在事务处理、并行数据库和服务器等领域也有较好的应用前景。这些领域的共同特点是数据量大，要求同时服务的用户多，对吞吐率和响应时间要求高，机群系统价格低、可靠性好、吞吐率高，而且系统资源丰富，比起其他解决方案机群系统具有更多的优点。目前有些商用数据库管理系统已经提供这种分布处理的支持，比如WindowsSQLServer和Informax。作为多数研究及应用机构都能承受得起的一种超级计算资源，机群系统必将对许多大挑战的计算问题及国民经济起到积极影响。