《并行计算、集群与网格技术在虚拟天文台中应用探讨》由会员分享，可在线阅读，更多相关《并行计算、集群与网格技术在虚拟天文台中应用探讨（40页珍藏版）》请在装配图网上搜索。
1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,,,‹#›,,Internet,,,Storage,Element,,,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,,,,Front End,Certificate Serv
2、er,TESTBED SITE 3,Graphics by Aldo Stentella,并行计算、集群与网格技术在虚拟天文台中应用探讨,,,,内容大,纲,纲,并行计,算,算技术,集群及,相,相关技,术,术,网格计,算,算,,,,,如何满,足,足不断,增,增长的,计,计算力,需,需求？,用速度,更,更快的,硬,硬件，,也,也就是,减,减少每,一,一条指,令,令所需,时,时间,优化算,法,法（或,者,者优化,编,编译）,用多个,处,处理机(器)同时解,决,决一个,问,问题,并行计,算,算,,,,串行计,算,算与并,行,行计算,,,,并行的,层,层次,程序级,并,并行,子程序,级,级并行,语句级,
3、并,并行,操作级,并,并行,微操作,级,级并行,并行粒,度,度,粗,细,,,,共享内,存,存与分,布,布式内,存,存,P=处理器,M=内存,S=网络交,换,换设备,P,M,P,…,P,M,P,M,S,…,,,,局部共,享,享内存,…,S,P,M,P,…,P,M,P,…,Node,Node,,,,实现并,行,行计算,的,的常见,方,方法,1、多线,程,程程序,2、基于OpenMP的并行,程,程序,3、基于,消,消息传,递,递的并,行,行程序,PVM,MPI,,,,XPVM,,,,XPVM,,,,并行计,算,算环境,简,简介,PVP（ParallelVectorProcessor）,使用专,用,用
4、向量,处,处理器,银河I，CrayT90，NEC的地球,模,模拟器,。,。。。,SMP（SymmetricMultiprocessor）,同一主,板,板上多,个,个处理,器,器可以,等,等同访,问,问共享,存,存储器,、,、I/O设备和,操,操作系,统,统服务,IBMRS6000。。。,Cluster,由很多,连,连接在,一,一起的,独,独立计,算,算机组,成,成，像,一,一个单,独,独的集,成,成的计,算,算机一,样,样协同,工,工作,集群的,节,节点可,以,以是SMP（或者PVP）,Cluster1350，蓝色,基,基因。,。,。。,,,,在虚拟,天,天文台,中,中的应,用,用情形,处理实
5、,时,时性要,求,求很高,的,的大量,观,观测数,据,据,观测数,据,据的并,行,行可视,化,化处理,并行数,据,据挖掘,并行数,据,据服务,提,提供,。。。,。,。。。,,,,,集群技,术,术,集群概,念,念最早,由,由IBM于20世纪60年代提,出,出,集群一,般,般由高,速,速网络,连,连接起,来,来的高,性,性能工,作,作站或PC机组成,。,。集群,在,在工作,中,中像一,个,个统一,的,的整合,资,资源，,所,所有节,点,点使用,单,单一界,面,面。,,,,集群,NotaClusterCluster,,,,,集群计,算,算系统,体,体系结,构,构,,,,集群相,关,关技术,网络层,网
6、络互,联,联结构,、,、通信,协,协议、,信,信号技,术,术等。,节点机,及,及操作,系,系统层,高性能PC或工作,站,站、分,层,层或基,于,于微内,核,核的操,作,作系统,等,等。,集群系,统,统管理,层,层,资源管,理,理、资,源,源调度,、,、负载,平,平衡、,并,并行I/O、安全,等,等。,应用层,并行程,序,序开发,环,环境、,串,串行应,用,用、并,行,行应用,等,等。,,,,Cluster1350,Cluster1350是IBM公司目,标,标定位,于,于高性,能,能计算,市,市场的Linux集群，,包,包括一,套,套完整,的,的解决,方,方案，,集,集成了,众,众多IBM与非I
7、BM的先进,的,的软硬,件,件技术,，,，有其,特,特有的,技,技术优,势,势与强,大,大的服,务,务支持,。,。,,,,Cluster1350逻辑结,构,构,,,,Cluster1350节点硬,件,件、网,络,络和操,作,作系统(天津大,学,学IBM中心）,管理节,点,点,IBMeServerxSeries 345,(,(1),计算节,点,点,IBMeServerxSeries 335,(,(16,),),网络,千兆以,太,太网,操作系,统,统,RedHat Linux 7,.,.3,,,,CSM,（,（ClusterSystemManagement）,CSM是IBM公司开,发,发，专,门,
8、门用于,集,集群系,统,统管理,的,的中间,件,件，在Cluster1350解决方,案,案集成,。,。,CSM的设计,思,思想与,体,体系结,构,构来自PSSP (IBMParallelSystem SupportProgramsfor AIX)与其它,一,一些开,源,源的集,群,群管理,软,软件。,还,还有一,些,些中间,件,件及技,术,术，虽,然,然不直,接,接为用,户,户服务,，,，但构,成,成了CSM的不可,或,或缺的,基,基础，,包,包括RMC、SRC、RSCT等。,,,,CSM,,,,Cluster1350系,统,统管理,整个集,群,群由单,一,一结点,控,控制,所有结,点,点的,
9、开机、,关,关机、,状,状态查,询,询,显示远,程,程控制,台,台,安装操,作,作系统,升级(安装)各结点,系,系统及,应,应用软,件,件,。。。,一个完,整,整的集,群,群只需,一,一套外,置,置输入/输出设,备,备(键盘、,鼠,鼠标、,显,显示器),,,,Linux,集,集群上,可,可用的,任,任务调,度,度系统,Mosix（Multicomputer OperatingSystemfor UnIX）,可以自,动,动完成,节,节点间,进,进程迁,移,移,需要重,新,新编译Linux内核,对用户,来,来说是,透,透明的,PBS（PortableBatchSystem）,由NASA的Ames研
10、究中,心,心开发,为了达,到,到集群,系,系统整,体,体上的,负,负载平,衡,衡，对,各,各个节,点,点上的,任,任务进,行,行调度,，,，但不,进,进行节,点,点间任,务,务迁移,不需要,重,重新编,译,译内核,,,,集群上,的,的应用,程,程序（,计,计算）,开,开发,适于开,发,发基于,消,消息传,递,递的并,行,行应用,程,程序,可以使,用,用PVM,/,/MPI,步骤：,配置并,行,行计算,的,的编译,与,与运行,环,环境,主要是rsh,/,/ssh,设计、,编,编写、,编,编译程,序,序,使用PVM,/,/MPI提供的,程,程序库,及,及编译,环,环境,部署应,用,用程序,ftp、
11、rcp、scp、CSM、NFS、GPFS等方式,运行程,序,序,,,,配置高,可,可用集,群,群,最大程,度,度地减,少,少服务,中,中断，,而,而不是,容,容错。,Hearbeat,LVS（LinuxVirtual Sever）,IBM的Tivoli和WebSphere系列软,件,件,……,,,,,Heartbeat,集,集群,,,,LVS,集,集群,,,,集群在,虚,虚拟天,文,文台中,的,的角色,高性能,计,计算,构成虚,拟,拟天文,台,台网格,环,环境中,强,强有力,的,的计算,资,资源,高可用,服,服务,在网格,环,环境中,提,提供稳,定,定、可,靠,靠的数,据,据、计,算,算、调,
12、度,度等服,务,务,,,,网格计,算,算,“Resourcesharing &coordinatedproblemsolving in dynamic,,,, multi-institutionalvirtualorganizations”,,,,,,OnDemand,,,,理想的,网,网格,,,,理想的,网,网格,,,,Thepicture above describesa DataGrid testbedwith three sitesandaCertification Authority.Forspacereasons wedonotshowallthemachinesofeachsit
13、e.,Theuserrequestsa certificatetotheCertificateAuthoritywebfront,-,-end.,,ThecertificateisproducedandsignedbytheCertificateServer.,,Theusergetsthecertificate,.,.,,Nowthattheuserhashis/hercertificateinstalledonhis/herUser Interface,he/shecansubmithis/herjobrequests.,,Aftercreatingaproxyprocess withte
14、mporary credentials(“grid-proxy-init”command),theusersubmits his/herjobrequest totheResourceBroker,.,.,Submitted,TheResourceBrokerqueriestheReplicaCatalogandInformationIndextofind suitable resources(storagespace,dataandcomputing power).,Waiting,,TheResourceBrokerselectstheresources.,,Ready,TheResour
15、ceBrokersubmitsthejobtotheselectedComputingElement(s),.,.,,Scheduled,TheComputingElement deliversthejobtoitsWorker Node(s),,,,whichwilldotherealwork.,Done,,OutputReady,TheoutputismovedtotheResourceBroker,,,Theusergets his/heroutput,,Cleared,,网格计,算,算环境,示,示例,Grid,,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cl
16、uster,UI/API,Grid,,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,,LAN,Site A,Site B,Site C,UI/API,Grid,UI/API,Grid,,LAN,,,,结束语,虚拟天,文,文台将,构,构筑于,网,网格环,境,境之上,集群将,构,构成网,格,格环境,中,中强有,力,力的计,算,算与服,务,务支撑,平,平台,并行计,算,算将为,具,具体事,务,务处理,提,提供技,术,术与手,段,段上支,持,持,,,,Thanks,!,!,,,,
并行计算、集群与网格技术在虚拟天文台中应用探讨
