高性能并行计算平台及并行计算环境概述

《高性能并行计算平台及并行计算环境概述》由会员分享，可在线阅读，更多相关《高性能并行计算平台及并行计算环境概述（41页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,高性能并行计算平台及并行计算环境概述,中国水利水电科学研究院,信息网络中心,2005,年,8,月,11,日,内 容 提 要,1,、前言,2,、高性能并行计算平台建设,3,、水利水电高性能计算实践,4,、结语,1,、前言,什么是高性能并行计算？,科学家和工程师可以用它来解决一些程序规模庞大、运算时间长以及数据量大的科研课题。,并行计算是提高服务器计算速度和处理能力的一种有效手段。,计算机按照编好的程序对计算问题进行分解，并把分解的任务块通过一定的方式交给不同的处理器去求解。,国际发展动态,2005,年,6,月

2、,22,日公布的全球高性能计算机,top500,，第一名是,IBM,的,Blue Gene/L,，,Linpack,测试值为每秒,136.8,万亿次，第二名是,IBM,的,Blue Gene/W,，,Linpack,测试值为每秒,91,万亿次。,日本第一的高性能计算机，,Earth Simulator,（地球模拟器），,Linpack,测试值为,35.6,万亿次。,国内发展动态,中国的第一名，中国气象局的高性能计算机，,Linpack,值为每秒,10.3,万亿次。,曙光系列、神威系列、银河系列、深腾系列,中科院计算所、曙光公司和上海超级计算中心三方共同研制的曙光,4000A,，,Linpack

3、,测试值为每秒,8.061,万亿次。,联想公司为中科院网络信息中心生产的深腾,6800,，共有,1060,颗,1.3Ghz,的安腾,2,处理器，,Linpack,测试值为每秒,4.183,万亿次。,院内需求分析,随着工程规模的逐渐扩大、复杂问题求解分析的日益深入，其科学计算的“瓶颈”日趋严重，即使对模型和算法进行简化，一次计算仍需要几个小时、几天甚至数十天的时间，这一现状严重制约了我院水利水电学科的发展，许多工程师、教授提出的理论和设想都因为计算能力受到限制而无法实施。,课题,1,：小湾坝踵应力诱导缝研究,小湾拱坝坝底缝计算采用网格有,20,万个单元，总共,24,万多个节点。,单机上运行模拟计

4、算程序时，一个计算步需要将近,45,个小时，一个工况一般有,3040,个计算步，总共有几十种工况。,课题,2,：混凝土三维细观力学模型的研究,模型,1,：湿筛试件静动态弯拉强度细观力学分析,研究中对试件进行划分，用,4,面体单元将细网格,6,面体单元过渡到两边粗网格,6,面体单元，共有,24257,节点，,29952,个单元，其中骨料,2160,个单元，固化水泥砂浆体,3805,单元，粘结界面,14515,单元以及宏观均匀混凝土,9472,个单元。,以上三维计算是在内存,1G,，,CPU,为,2.8G,的,PC,机上进行的。静力计算耗时,163,小时,39,分，约,7,天时间；动力计算耗时,1

5、96,小时,25,分钟，约,8,天时间。,模型,2,：全级配试件静动态弯拉强度三维细观力学分析,剖分后的单元有骨料单元、融入小骨料后的固化水泥砂浆单元和两者之间的界面单元，共有,24257,个节点，,113920,个单元。,计算时间：在以上配置相同的,PC,机上，三维静力计算耗时,209,小时,50,分钟，约,9,天时间；动力计算耗时,291,小时,57,分钟，约,12,天时间。,问 题,要实现三维细观力学数值计算，计算速度这一难题必须克服，通常，针对一个模型研究人员需要反复调整参数进行数值计算，一个算例耗时数天甚至数周简直无法忍受。,上述种种计算和数据的处理对计算环境提出了新的要求，如果以传

6、统的个人,PC,机作为计算平台，计算的时间和效率远远满足不了科研的需求，甚至会由于内存、,CPU,等硬件的限制而无法进行计算。因此我院急需建设一个高性能并行计算平台，更好的为科研项目服务。,二、高性能并行计算平台建设,硬件平台建设,初步构想,采用,Sun,公司提供的,Sun Fire Supercluster,解决方案。,24,台高性能的,Sun Fire 6800,服务器作为集群节点。,每台服务器达到满配置，即,24,个,1.2Ghz UltraSPARCIII CPU,，,192GB,内存。,节点之间采用,Sun Fire Link Interconnect,技术通过光纤互联。,IWHR,

7、高性能并行计算平台硬件体系结构,Sun Fire 6800,技术指标,硬件完全冗余，可以从任何硬件故障中恢复。,最多,24,个,CPU,，最大,192GB,内存，,32PCI,或者,16cPCI,插槽。,每台,Sun Fire 6800,机器最多分为,4,个域，每个域相当于一台独立的服务器。,具有很好的线性扩充能力，,24,个,CPU,运行时的,Linpack,值是,1,个,CPU,运行时的,23.3,倍。,Sun Fire Link Interconnect,Sun,Fire Link,为一套高带宽、低延迟的互联系统，可以扩展,Sun Fire6800,系统的可用性。,一个,Sun Fire

8、 Link,系统最多可以由,8,个,Sun Fire 6800,服务器节点组成，每个节点由,Sun Fire Link,光纤网络连接在一起，,一整套软件支持。,Sun Management Center,可以为,Sun Fire Link,网络资源的配置、监视与管理提供最佳可用性。,我院,Sun Fire 6800,现有配置,CPU,数量,4*1200Mhz,内存容量,8 GB,（,16 X 512MB DIMMs),I/O,板,4,个，,PCI,扩展槽共,32,个,Sun Storage 3510 SCSI,磁盘阵列,可提供,539GB,的存储空间,目前，本院的高性能并行计算平台建设处于初步

9、试验阶段，待并行计算技术在我院应用成熟以后，可以很方便的对该平台进行硬件升级，以获得更高的性能和计算能力。,现 状,软件平台建设,操作系统,开发环境,编译器,数学函数库,高性能并行计算软件,作业管理接口,并行程序运行环境,并行数学函数库,并行程序调试分析工具,资源管理系统,IWHR,高性能并行计算平台软件体系结构,操作系统：,Solaris 9,64,位的,Unix,操作系统,具有杰出的稳定性和可维护性,单一服务器上最多可支持,106,个,CPU,支持多线程，最多,100,万个进程。,支持多种应用软件，如,Sun Cluster,软件、,Sun,管理中心软件、,Sun Studio,编译环境,

10、Sun Grid Engine,等等。,开发环境：,Sun Studio 9,主要组件包含如下：,C Compiler,C+Compiler,Fortran Compiler,Sun Performance Library,Distributed,make,utility,dmake,dbx,Command-Line Debugger,Performance Analysis Tools,Integrated Development Environment(IDE),编译器,对于科研课题的计算程序而言，编译器的优劣对生成的程序的执行效率有着非常明显的影响，现在在,Unix,下的免费编译器软件主

11、要是,GNU,计划提供的,GCC,，该编译器可以编译,C,、,C+,、,F77,等语言编写的程序。,Sun Fire 6800,服务器配套的编译器是,Sun,公司开发的商业编译软件,-Sun Studio 9,，该编译器在,Solaris,上编译运行的效率比,GNU,的免费软件要高,30%40%,。,数学函数库：,Sun Performance Library,它是,Sun,公司基于以下标准的线性代数库而生成的，具有相同的函数名和接口，但是在,Sun,的服务器上运行得更快更精确。,LAPACK,：用来解决线性代数问题,BLAS1,：用来解决向量,-,向量运算问题,BLAS2,：用来解决矩阵,-

12、,向量运算问题,BLAS3,：用来解决矩阵,-,矩阵运算问题,FFTPACK,和,VFFTPACK,：快速傅立叶转换,高性能并行计算软件,Sun HPC ClusterTools 5.0,作业管理接口,Sun ClusterTools Runtime Environment,（,CRE,）,并行计算运行环境,Sun MPI and MPI I/O,并行数学函数库,Sun S3L(Scalable Scientific Subroutine Library),并行程序调试分析工具,Sun Prism,Sun MPProf,作业管理接口：,Sun CRE,执行程序（,mprun,),杀死程序（,m

13、pkill,),显示作业信息,显示节点信息,并行计算运行环境,Sun MPI and MPI I/O,Sun MPI,是一个高度优化的,MPI,版本。它支持,MPI1.2,标准和,MPI2.0,标准。,支持多线程编程。,与,Sun CRE,集成。,完全支持,Fortran77,、,C,和,C+,，支持一些基本的,Fortran90,语法。,通过共享内存通信会获得更好的性能。,并行数学函数库：,Sun S3L,它是建立在,Sun MPI,之上的，给用户提供了一系列广泛应用的并行函数库。如,LU,分解、最小二乘法运算、矩阵转置等等。,支持,Fortran77,、,Fortran90,、,C,和,C

14、+,Sun S3L,子程序调用,Sun Performance Library,来在节点上进行运算。,并行程序调试分析工具,Prism,和,MPProf,Prism,是一个图形编程环境，使用户能够对并行程序进行调试和性能监控。,MPProf,是一个用来查看,Sun MPI,程序的分析工具。运行它可以获得程序的一些时间信息：,在所有进程里,MPI,函数库调用所花费的时间占程序运行时间的百分比；,每个进程在,MPI,函数库调用上花费的时间百分比；,MPI,函数库调用的次数、程序花费的时间；,资源管理系统,(Resource Management),Sun HPC ClusterTools 5 so

15、ftware,可以和下面三种分布式资源管理系统集成，用来管理资源的分配、并行作业的控制和监视，以及作业信息的统计。,Sun Grid Engine,：,Codine 5.2,Load Sharing Facility:LSF 4.x,Portable Batch System:PBS 2.3.15 and PBS Pro 5.0,集成方法,IWHR,高性能并行计算平台软件体系结构,三、高性能并行计算实践,课题一,在结构材料所使用服务器计算的工程项目“小湾坝踵应力诱导峰分析”中，服务器发挥了内存、硬盘空间大，计算稳定的特点，为该工程项目的计算提供了有力的支持。,课题二,在抗震中心的有关“混凝土三维细观力学模型的研究”中，信息网络中心联系太极公司、国防科大等单位对原有串行程序进行并行化改造，在我院高性能服务器上试运行后，效果比较明显。经介绍，原来的串行程序运行需要,7,、,8,天左右时间经改造后只需,34,个小时。,四、结语,我院高性能并行技术的应用处于初步探索阶段，经过这半年多来的努力，现在已经取得了一定的成果。希望能够继续和院内各研究所合作，共同努力，把我院高性能计算这一块迅速发展起来，为我院的知识创新搭建一个高起点的平台，更好的为院内以及整个水利水电行业的科研项目服务。,敬请专家领导指正！,谢谢！,