《并行计算、集群与网格技术在虚拟天文台中应用探讨》由会员分享，可在线阅读，更多相关《并行计算、集群与网格技术在虚拟天文台中应用探讨（40页珍藏版）》请在装配图网上搜索。
1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED S
2、ITE 3,Graphics by Aldo Stentella,并行计算、集群与网格技术在虚拟天文台中应用探讨,内容大纲,并行计算,技,技术,集群及相,关,关技术,网格计算,如何满足,不,不断增长,的,的计算力,需,需求？,用速度更,快,快的硬件,，,，也就是,减,减少每一,条,条指令所,需,需时间,优化算法,（,（或者优,化,化编译）,用多个处,理,理机,(,器,),同时解决,一,一个问题,并行计算,串行计算,与,与并行计,算,算,并行的层,次,次,程序级并,行,行,子程序级,并,并行,语句级并,行,行,操作级并,行,行,微操作级,并,并行,并行粒度,粗,细,共享内存,与,与分布式,内,内
3、存,P=,处理器,M=,内存,S=,网络交换,设,设备,P,M,P,P,M,P,M,S,局部共享,内,内存,S,P,M,P,P,M,P,Node,Node,实现并行,计,计算的常,见,见方法,1,、多线,程,程程序,2,、基于,OpenMP,的并行,程,程序,3,、基于,消,消息传,递,递的并,行,行程序,PVM,MPI,XPVM,XPVM,并行计,算,算环境,简,简介,PVP,（,ParallelVectorProcessor,）,使用专,用,用向量,处,处理器,银河,I,，,CrayT90,，,NEC,的地球,模,模拟器,。,。,SMP,（,SymmetricMultiprocessor,
4、）,同一主,板,板上多,个,个处理,器,器可以,等,等同访,问,问共享,存,存储器,、,、,I/O,设备和,操,操作系,统,统服务,IBMRS6000,。,Cluster,由很多,连,连接在,一,一起的,独,独立计,算,算机组,成,成，像,一,一个单,独,独的集,成,成的计,算,算机一,样,样协同,工,工作,集群的,节,节点可,以,以是,SMP,（或者,PVP,）,Cluster1350,，蓝色,基,基因。,。,。,在虚拟,天,天文台,中,中的应,用,用情形,处理实,时,时性要,求,求很高,的,的大量,观,观测数,据,据,观测数,据,据的并,行,行可视,化,化处理,并行数,据,据挖掘,并行数,
5、据,据服务,提,提供,。,。,。,集群技,术,术,集群概,念,念最早,由,由,IBM,于,20,世纪,60,年代提,出,出,集群一,般,般由高,速,速网络,连,连接起,来,来的高,性,性能工,作,作站或,PC,机组成,。,。集群,在,在工作,中,中像一,个,个统一,的,的整合,资,资源，,所,所有节,点,点使用,单,单一界,面,面。,集群,NotaClusterCluster,集群计,算,算系统,体,体系结,构,构,集群相,关,关技术,网络层,网络互,联,联结构,、,、通信,协,协议、,信,信号技,术,术等。,节点机,及,及操作,系,系统层,高性能,PC,或工作,站,站、分,层,层或基,于,于
6、微内,核,核的操,作,作系统,等,等。,集群系,统,统管理,层,层,资源管,理,理、资,源,源调度,、,、负载,平,平衡、,并,并行,I/O,、安全,等,等。,应用层,并行程,序,序开发,环,环境、,串,串行应,用,用、并,行,行应用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,标,标定位,于,于高性,能,能计算,市,市场的,Linux,集群，,包,包括一,套,套完整,的,的解决,方,方案，,集,集成了,众,众多,IBM,与非,IBM,的先进,的,的软硬,件,件技术,，,，有其,特,特有的,技,技术优,势,势与强,大,大的服,务,务支持,。,。,Cluster
7、1350,逻辑结,构,构,Cluster1350,节点硬,件,件、网,络,络和操,作,作系统,(,天津大,学,学,IBM,中心）,管理节,点,点,IBMeServerxSeries 345(1),计算节,点,点,IBMeServerxSeries 335(16),网络,千兆以,太,太网,操作系,统,统,RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司开,发,发，专,门,门用于,集,集群系,统,统管理,的,的中间,件,件，在,Cluster1350,解决方,案,案集成,。,。,CSM,的设计,思,思想与,体,体系结,构,构
8、来自,PSSP(IBMParallelSystem SupportProgramsfor AIX),与其它,一,一些开,源,源的集,群,群管理,软,软件。,还,还有一,些,些中间,件,件及技,术,术，虽,然,然不直,接,接为用,户,户服务,，,，但构,成,成了,CSM,的不可,或,或缺的,基,基础，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,统,统管理,整个集,群,群由单,一,一结点,控,控制,所有结,点,点的,开机、,关,关机、,状,状态查,询,询,显示远,程,程控制,台,台,安装操,作,作系统,升级,(,安装,),各结点,系,系统及,应,应用软,件
9、,件,。,一个完,整,整的集,群,群只需,一,一套外,置,置输入,/,输出设,备,备,(,键盘、,鼠,鼠标、,显,显示器,),Linux,集,集群上,可,可用的,任,任务调,度,度系统,Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,动,动完成,节,节点间,进,进程迁,移,移,需要重,新,新编译,Linux,内核,对用户,来,来说是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中心开,发,发,为了达到集,群,群系统整体,上,上的负载平,衡,衡，对各个,节,节点上的任,务,务进行调度,
10、，,，但不进行,节,节点间任务,迁,迁移,不需要重新,编,编译内核,集群上的应,用,用程序（计,算,算）开发,适于开发基,于,于消息传递,的,的并行应用,程,程序,可以使用,PVM/MPI,步骤：,配置并行计,算,算的编译与,运,运行环境,主要是,rsh/ssh,设计、编写,、,、编译程序,使用,PVM/MPI,提供的程序,库,库及编译环,境,境,部署应用程,序,序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,运行程序,配置高可用,集,集群,最大程度地,减,减少服务中,断,断，而不是,容,容错。,Hearbeat,LVS,（,LinuxVirtual Seve
11、r,）,IBM,的,Tivoli,和,WebSphere,系列软件,Heartbeat,集,集群,LVS集群,集群在虚拟,天,天文台中的,角,角色,高性能计算,构成虚拟天,文,文台网格环,境,境中强有力,的,的计算资源,高可用服务,在网格环境,中,中提供稳定,、,、可靠的数,据,据、计算、,调,调度等服务,网格计算,“,Resource sharing&coordinatedproblem solving indynamic,multi-institutional virtual organizations,”,”,On Demand,理想的网格,理想的网格,The picture above
12、 describes aDataGrid testbed with three sites and aCertification Authority.For spacereasons wedo not show all themachinesof each site.,The user requests acertificate tothe CertificateAuthoritywebfront-end.,The certificateis produced and signed by theCertificate Server.,The user gets the certificate.
13、,Now that the user has his/hercertificate installed onhis/her User Interface,he/shecansubmit his/herjob requests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/her jobrequest to theResourceBroker.,Submitted,The Resource Brokerqueries the Replica
14、Catalog and Information Indexto find suitable resources(storagespace,data and computing power).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which wi
15、ll dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,网格计算环,境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,结束语,虚拟天文台,将,将构筑于网,格,格环境之上,集群将构成,网,网格环境中,强,强有力的计,算,算与服务支,撑,撑平台,并行计算将,为,为具体事务,处,处理提供技,术,术与手段上,支,支持,Thanks!,
并行计算、集群与网格技术在虚拟天文台中应用探讨
