并行计算集群与网格技术在虚拟天文台中应用

《并行计算集群与网格技术在虚拟天文台中应用》由会员分享，可在线阅读，更多相关《并行计算集群与网格技术在虚拟天文台中应用（41页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED S

2、ITE 3,Graphics by Aldo Stentella,并行计算、集群与网格技术在虚拟天文台中应用探讨,内容大纲,并行计算技术,集群及相关技术,网格计算,如何满足不断增长的计算力需求？,用速度更快的硬件，也就是减少每一条指令所需时间,优化算法（或者优化编译）,用多个处理机,(,器,),同时解决一个问题,并行计算,串行计算与并行计算,并行的层次,程序级并行,子程序级并行,语句级并行,操作级并行,微操作级并行,并行粒度,粗,细,共享内存与分布式内存,P=,处理器,M=,内存,S=,网络交换设备,P,M,P,P,M,P,M,S,局部共享内存,S,P,M,P,P,M,P,Node,Node,

3、实现并行计算的常见方法,1,、多线程程序,2,、基于,OpenMP,的并行程序,3,、基于消息传递的并行程序,PVM,MPI,XPVM,XPVM,并行计,算,算环境,简,简介,PVP,（,ParallelVectorProcessor,）,使用专,用,用向量,处,处理器,银河,I,，,CrayT90,，,NEC,的地球,模,模拟器,。,。,SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,个,个处理,器,器可以,等,等同访,问,问共享,存,存储器,、,、,I/O,设备和,操,操作系,统,统服务,IBMRS6000,。,Cluster,由很多,连,连接在,一,一

4、起的,独,独立计,算,算机组,成,成，像,一,一个单,独,独的集,成,成的计,算,算机一,样,样协同,工,工作,集群的,节,节点可,以,以是,SMP,（或者,PVP,）,Cluster1350,，蓝色,基,基因。,。,。,在虚拟,天,天文台,中,中的应,用,用情形,处理实,时,时性要,求,求很高,的,的大量,观,观测数,据,据,观测数,据,据的并,行,行可视,化,化处理,并行数,据,据挖掘,并行数,据,据服务,提,提供,。,。,。,集群技,术,术,集群概,念,念最早,由,由,IBM,于,20,世纪,60,年代提,出,出,集群一,般,般由高,速,速网络,连,连接起,来,来的高,性,性能工,作,作

5、站或,PC,机组成,。,。集群,在,在工作,中,中像一,个,个统一,的,的整合,资,资源，,所,所有节,点,点使用,单,单一界,面,面。,集群,NotaClusterCluster,集群计,算,算系统,体,体系结,构,构,集群相,关,关技术,网络层,网络互,联,联结构,、,、通信,协,协议、,信,信号技,术,术等。,节点机,及,及操作,系,系统层,高性能,PC,或工作,站,站、分,层,层或基,于,于微内,核,核的操,作,作系统,等,等。,集群系,统,统管理,层,层,资源管,理,理、资,源,源调度,、,、负载,平,平衡、,并,并行,I/O,、安全,等,等。,应用层,并行程,序,序开发,环,环境、

6、,串,串行应,用,用、并,行,行应用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,标,标定位,于,于高性,能,能计算,市,市场的,Linux,集群，,包,包括一,套,套完整,的,的解决,方,方案，,集,集成了,众,众多,IBM,与非,IBM,的先进,的,的软硬,件,件技术,，,，有其,特,特有的,技,技术优,势,势与强,大,大的服,务,务支持,。,。,Cluster1350,逻辑结,构,构,Cluster1350,节点硬,件,件、网,络,络和操,作,作系统,(,天津大,学,学,IBM,中心）,管理节,点,点,IBMeServerxSeries 345(1),计

7、算节,点,点,IBMeServerxSeries 335(16),网络,千兆以,太,太网,操作系,统,统,RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司开,发,发，专,门,门用于,集,集群系,统,统管理,的,的中间,件,件，在,Cluster1350,解决方,案,案集成,。,。,CSM,的设计,思,思想与,体,体系结,构,构来自,PSSP(IBMParallelSystem SupportProgramsfor AIX),与其它,一,一些开,源,源的集,群,群管理,软,软件。,还,还有一,些,些中间,件,件及技,术,术

8、，虽,然,然不直,接,接为用,户,户服务,，,，但构,成,成了,CSM,的不可,或,或缺的,基,基础，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,统,统管理,整个集,群,群由单,一,一结点,控,控制,所有结,点,点的,开机、,关,关机、,状,状态查,询,询,显示远,程,程控制,台,台,安装操,作,作系统,升级,(,安装,),各结点,系,系统及,应,应用软,件,件,。,一个完,整,整的集,群,群只需,一,一套外,置,置输入,/,输出设,备,备,(,键盘、,鼠,鼠标、,显,显示器,),Linux,集,集群上,可,可用的,任,任务调,度,度系统,Mosix,

9、（,Multicomputer OperatingSystemfor UnIX,）,可以自,动,动完成,节,节点间,进,进程迁,移,移,需要重,新,新编译,Linux,内核,对用户,来,来说是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中,心,心开发,为了达,到,到集群,系,系统整,体,体上的,负,负载平,衡,衡，对,各,各个节,点,点上的,任,任务进,行,行调度,，,，但不,进,进行节,点,点间任,务,务迁移,不需要,重,重新编,译,译内核,集群上,的,的应用,程,程序（,计,计算）,开,开发,适于开,发,发基于,消,消息传,递,递的

10、并,行,行应用,程,程序,可以使,用,用,PVM/MPI,步骤：,配置并,行,行计算,的,的编译,与,与运行,环,环境,主要是,rsh/ssh,设计、,编,编写、,编,编译程,序,序,使用,PVM/MPI,提供的,程,程序库,及,及编译,环,环境,部署应,用,用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,运行程,序,序,配置高,可,可用集,群,群,最大程,度,度地减,少,少服务,中,中断，,而,而不是,容,容错。,Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列软,件,件,He

11、artbeat,集,集群,LVS,集,集群,集群在,虚,虚拟天,文,文台中,的,的角色,高性能,计,计算,构成虚,拟,拟天文,台,台网格,环,环境中,强,强有力,的,的计算,资,资源,高可用,服,服务,在网格,环,环境中,提,提供稳,定,定、可,靠,靠的数,据,据、计,算,算、调,度,度等服,务,务,网格计,算,算,“,Resourcesharing&coordinatedproblemsolving in dynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的,网,网格,理想的,网,网格,Thepictureabovedes

12、cribesaDataGridtestbed withthreesitesand aCertificationAuthority.Forspacereasons we do notshow allthemachinesofeachsite.,Theuserrequestsa certificate to theCertificateAuthorityweb front-end.,Thecertificateisproducedand signedbytheCertificateServer.,Theusergets thecertificate.,Nowthattheuserhashis/he

13、rcertificateinstalledonhis/herUser Interface,he/she cansubmithis/herjobrequests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/herjob requesttothe Resource Broker.,Submitted,TheResourceBroker queriesthe ReplicaCatalogandInformationIndextofindsui

14、tableresources(storagespace,dataand computingpower).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The out

15、putis movedto the ResourceBroker,The user gets his/her output,Cleared,网格计算环,境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,结束语,虚拟天文台,将,将构筑于网,格,格环境之上,集群将构成,网,网格环境中,强,强有力的计,算,算与服务支,撑,撑平台,并行计算将,为,为具体事务,处,处理提供技,术,术与手段上,支,支持,Thanks!,演讲完毕，,谢,谢谢观看！,