《并行计算、集群与网格技术在虚拟天文台中应用探讨17425》由会员分享，可在线阅读，更多相关《并行计算、集群与网格技术在虚拟天文台中应用探讨17425（41页珍藏版）》请在装配图网上搜索。
1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED S
2、ITE 3,Graphics by Aldo Stentella,并行计算、集群与网格技术在虚拟天文台中应用探讨,内容大纲,并行计算技术,集群及相关技术,网格计算,如何满足不断增长的计算力需求？,用速度更快的硬件，也就是减少每一条指令所需时间,优化算法（或者优化编译）,用多个处理机,(,器,),同时解决一个问题,并行计算,串行计算与并行计算,并行的层次,程序级并行,子程序级并行,语句级并行,操作级并行,微操作级并行,并行粒度,粗,细,共享内存与分布式内存,P=,处理器,M=,内存,S=,网络交换设备,P,M,P,P,M,P,M,S,局部共享内存,S,P,M,P,P,M,P,Node,Node,
3、实现并行计算的常见方法,1,、多线程程序,2,、基于,OpenMP,的并行程序,3,、基于消息传递的并行程序,PVM,MPI,XPVM,XPVM,并行计算环境简介,PVP,（,Parallel Vector Processor,）,使用专用向量处理器,银河,I,，,CrayT90,，,NEC,的地球模拟器。,SMP,（,Symmetric Multiprocessor,）,同一主板上多个处理器可以等同访问共享存储器、,I/O,设备和操作系统服务,IBM RS6000,。,Cluster,由很多连接在一起的独立计算机组成，像一个单独的集成的计算机一样协同工作,集群的节点可以是,SMP,（或者,P
4、VP,）,Cluster1350,，蓝色基因。,在虚拟天文台中的应用情形,处理实时性要求很高的大量观测数据,观测数据的并行可视化处理,并行数据挖掘,并行数据服务提供,。,集群技术,集群概念最早由,IBM,于,20,世纪,60,年代提出,集群一般由高速网络连接起来的高性能工作站或,PC,机组成。集群在工作中像一个统一的整合资源，所有节点使用单一界面。,集群,Not a Cluster Cluster,集群计算系统体系结构,集群相关技术,网络层,网络互联结构、通信协议、信号技术等。,节点机及操作系统层,高性能,PC,或工作站、分层或基于微内核的操作系统等。,集群系统管理层,资源管理、资源调度、负载
5、平衡、并行,I/O,、安全等。,应用层,并行程序开发环境、串行应用、并行应用等。,Cluster1350,Cluster1350,是,IBM,公司目标定位于高性能计算市场的,Linux,集群，包括一套完整的解决方案，集成了众多,IBM,与非,IBM,的先进的软硬件技术，有其特有的技术优势与强大的服务支持。,Cluster1350,逻辑结构,Cluster1350,节点硬件、网络和操作系统,(,天津大学,IBM,中心）,管理节点,IBM eServer xSeries 345(1),计算节点,IBM eServer xSeries 335(16),网络,千兆以太网,操作系统,Red Hat Li
6、nux 7.3,CSM（Cluster System Management）,CSM,是,IBM,公司开发，专门用于集群系统管理的中间件，在,Cluster1350,解决方案集成。,CSM,的设计思想与体系结构来自,PSSP(IBM Parallel System Support Programs for AIX),与其它一些开源的集群管理软件。还有一些中间件及技术，虽然不直接为用户服务，但构成了,CSM,的不可或缺的基础，包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系统管理,整个集群由单一结点控制,所有结点的,开机、关机、状态查询,显示远程控制台,安装操作系统
7、,升级,(,安装,),各结点系统及应用软件,。,一个完整的集群只需一套外置输入,/,输出设备,(,键盘、鼠标、显示器,),Linux 集群上可用的任务调度系统,Mosix,（,Multicomputer Operating System for UnIX,）,可以自动完成节点间进程迁移,需要重新编译,Linux,内核,对用户来说是透明的,PBS,（,Portable Batch System,）,由,NASA,的,Ames,研究中心开发,为了达到集群系统整体上的负载平衡，对各个节点上的任务进行调度，但不进行节点间任务迁移,不需要重新编译内核,集群上的应用程序（计算）开发,适于开发基于消息传递的
8、并行应用程序,可以使用,PVM/MPI,步骤：,配置并行计算的编译与运行环境,主要是,rsh/ssh,设计、编写、编译程序,使用,PVM/MPI,提供的程序库及编译环境,部署应用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,运行程序,配置高可用集群,最大程度地减少服务中断，而不是容错。,Hearbeat,LVS,（,Linux Virtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列软件,Heartbeat 集群,LVS集群,集群在虚拟天文台中的角色,高性能计算,构成虚拟天文台网格环境中强有力的计算资源,高可用服务,在网格环境
9、中提供稳定、可靠的数据、计算、调度等服务,网格计算,“,Resource sharing&coordinated problem solving in dynamic,multi-institutional virtual organizations”,On Demand,理想的网格,理想的网格,The picture above describes a DataGrid testbed with three sites and a Certification Authority.For space reasons we do not show all the machines of each
10、 site.,The user requests a certificate to the Certificate Authority web front-end.,The certificate is produced and signed by the Certificate Server.,The user gets the certificate.,Now that the user has his/her certificate installed on his/her User Interface,he/she can submit his/her job requests.,Af
11、ter creating a proxy process with temporary credentials(“grid-proxy-init”command),the user submits his/her job request to the Resource Broker.,Submitted,The Resource Broker queries the Replica Catalog and Information Index to find suitable resources(storage space,data and computing power).,Waiting,T
12、he Resource Broker selects the resources.,Ready,The Resource Broker submits the job to the selected Computing Element(s).,Scheduled,The Computing Element delivers the job to its Worker Node(s),which will do the real work.,Done,Output Ready,The output is moved to the Resource Broker,The user gets his
13、/her output,Cleared,网格计算环境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,Site A,Site B,Site C,UI/API,Grid,UI/API,Grid,LAN,结束语,虚拟天文台将构筑于网格环境之上,集群将构成网格环境中强有力的计算与服务支撑平台,并行计算将为具体事务处理提供技术与手段上支持,Thanks!,演讲完毕，谢谢观看！,
并行计算、集群与网格技术在虚拟天文台中应用探讨17425
