并行计算机模型

《并行计算机模型》由会员分享，可在线阅读，更多相关《并行计算机模型（58页珍藏版）》请在装配图网上搜索。

1、,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Advanced Computer Architecture,*,高级计算机系统结构,上海大学计算机学院,徐炜民,1,Advanced Computer Architecture,高级计算机系统结构,这里的,高级,其含义是指与本科教育中已经介绍的常规的系统结构类型的区别，着重在模型、算法和并行处理上。,计算机系统结构是计算机专业本科教育中的骨干课程，是,ACM,和,IEEE/CS,联合,教程专题组所确定的主干课程。,上海大学计算机学院计算机系统结构课程被国家教育部列入,“,十五,”,规划的重点建设课程。,学习

2、的困难：,1。概念性强，形式描述弱,2。面广，强调工程实现,3。背景机大而多，且著名，但不易全面介绍和了解,2,Advanced Computer Architecture,参考教材：,(1)英文原版：,Kai,Hwang,Advanced Computer Architecture Parallelism,Scalability,Programmability(1993),中译本：高等计算机系统结构：并行性、可扩展性、可编程性（王鼎兴等译，1995）,(2)英文原版：,Kai,Hwang,&,Zhiwei Xu,Scalable Parallel Computing Technology,A

3、rchitecture,Programming(1998),中译本：可扩展并行计算：技术、结构与编程（陆鑫达等译，2000）,(3)英文原版：,David E.,Culler,Jaswinder,Pal Singh,Anoop Gupta,Parallel Computer Architecture A Hardware/Software Approach Second Edition(1996),(4),英文原版：,David A.Patterson,John L.,Hennessy,Computer Architecture A Quantitative Approach Second E

4、dition(1996),3,Advanced Computer Architecture,第一篇 并行性理论,1。并行计算机模型,2。程序和网络特性,3。可扩展性能原理,第二篇 硬件技术,4。处理机与存储器层次结构,5。总线，高速缓存和共享存储器,6。流水线与超标量技术,4,Advanced Computer Architecture,第三篇 并行和可扩展系统结构,7。多处理机和多计算机,8。多向量机与,SIMD,计算机,9。可扩展，多线程与数据流系统结构,第四篇 并行程序设计软件,10。并行模型，语言和编译器,11。并行程序开发与环境,12。并行机的,UNIX,Mach,和,OSF/1,5

5、,Advanced Computer Architecture,第一篇并行性理论,目前，衡量,超级计算,(,supercomputing),仍用习惯的方法（小时、作业、程序数、程序可移植性）,采用共享存储器的向量多处理器系统仍是主流（,Cray Research,Fujitsu,IBM,Hitachi,NEC）。,例如，1993年的,C90,用 16台处理器，,Gigaflops,=16,10,，9,500,次/美元。,九十年代，,RISC,标量处理机可达5000次/美元。基于消息传递的多计算机系统可达到,Teraflops,。,从广义上讲，可扩展性反映了系统结构、算法、软件和环境之间的相互关

6、系。它涉及到系统结构的通用性、可扩展性、可编程性、可实现性。,6,Advanced Computer Architecture,第一章并行计算机模型,并行性在不同的处理级别中可表现为多种形式：先行方式、流水线方式、向量化、并发性、同时性、数据并行性、划分、交叉、重叠、多重性、重复、时间共享、空间共享、多任务处理、多道程序、多线程方式、分布式计算。,7,Advanced Computer Architecture,一计算技术的现状,1历史演变：,公元前500年，中国的算盘。,1642年，法国,Blaise,Pascal,的机械加法器减法器。,1827年，英国,Charles,Babbage,用于

7、多项式计算的差分机。,1941年，德国,Konrad Zused,用于通用的二进制机械计算机。,1944年，,Howard,Aiken,提出由,IBM,制造用于通用计算的,Havard,Mark I,十进制机电计算机。,以后，就表现为所谓的“五代”计算机演变（表11）。,8,Advanced Computer Architecture,Intel（Oct.2001）,认为：,计算模式的演变过程,Enterprise Centralized Mainframes,Server Centric Web,Distributed Solutions,包括,1.,Peer to Peer,2.Wirel

8、ess and mobile,3.One IP,4.XML,9,Advanced Computer Architecture,2现代计算机组成：（图11）,现代计算机是一种包括机器硬件、指令系统、系统软件、应用程序和用户接口的集成系统。各种求解方法可能需要不同的计算资源，这与求解问题的性质有关。,10,Advanced Computer Architecture,11,Advanced Computer Architecture,冯诺依曼结构的特点,：,使用单一处理部件来完成计算、存储及通信功能；,线性组织的定长存储单元（地址）；,存储空间的单元是直接寻址的（地址）；,使用低级机器语言，其指令

9、完成基本操作码的简单操作；,对计算进行集中的顺序控制（程序存储）。,首次提出,“,地址,”,和,“,程序存储,”,的概念。,冯诺依曼结构是传统计算机系统的理论,“,基石,”,。,“,集中的顺序控制,”,是计算机发展的,“,瓶颈,”,，以后计算机理论的发展，出现了非冯诺依曼结构的计算机系统。,重要性在于多机和并行处理的概念是计算机发展的最主要的地方。,12,Advanced Computer Architecture,计算机系统的层次结构,:,信息处理过程可以用控制流程的概念来描述，而实现描述控制流程的是有一定规则的字符集合的,“,计算机语言,”,。,计算机语言并不专属软件范畴，它可以分属计算机

10、系统的各个层次，分别对该层次的控制流程进行描述。,基于对语言广义的理解，可以把计算机系统看成由多级,“,虚拟,”,计算机所组成。从内向外，层层相套，形成,“,洋葱,”,式结构的功能模型。（见图1-6）,例：用户-建模-应用程序-高级语言-汇编语言-操作系统-机器语言-微程序-硬布线逻辑,13,Advanced Computer Architecture,14,Advanced Computer Architecture,虚拟计算机的概念,洋葱模型的每一层都是一个虚拟计算机，它只对,“,观察者,”,而存在，它的功能体现在广义语言上，对该语言提供解释手段，然后作用在信息处理或控制对象上，并从对象上

11、获得必要的状态信息。从某一层次的观察者看来，他只能是通过该层次的语言来了解和使用计算机，至于内部任何工作和实现是不必关心的。,（即：虚拟计算机是由软件实现的机器）,虚拟计算机的组成，见图1-7,用虚拟计算机观点定义的计算机系统的功能层次，见图1-8,15,Advanced Computer Architecture,16,Advanced Computer Architecture,17,Advanced Computer Architecture,系列机概念,先设计一种系统结构（机器属性），而后按这种系统结构设计它的系统软件，按器件状况和硬件技术研究这种结构的各种实现方法，并按照速度、价格等

12、不同要求，分别提供不同速度、不同配置的各挡机器。（系列机必须保证用户看到的机器属性一致）,例：,IBM AS/400,优点：,1。在使用共同系统软件的基础上，解决程序的兼容性问题；,2。在统一数据结构和指令系统的基础上，便于组成多机系统和网络；,3。使用标准的总线规程，实现接插件和扩展功能卡的兼容，便于实现,OEM（Original Equipment Manufacture）。,4。,扩大计算机应用领域，提供用户在同系列的多种机型内选用最合适的机器的可能性；,5。有利于机器的使用、维护和人员培训,6。有利于计算机升级换代；,7。有利于提高劳动生产率，增加产量、降低成本、促进计算机的发展。,1

13、8,Advanced Computer Architecture,3,Flynn,分类法,Micheal,Flynn(1972),提出指令流、数据流和多倍性概念，把不同的计算机分为四大类（图13）：,SISD（Single-Instruction Single-Data,单处理机结构）,SIMD（Single-Instruction Multi-Data,带分布存储器）,MISD（Multi-Instruction Single-Data,搏动式阵列）,MIMD（Multi-Instruction Multi-Data,带共享存储器）,19,Advanced Computer Architec

14、ture,20,Advanced Computer Architecture,4性能的系统属性,理想的计算机系统的性能要求机器功能和程序行为之间有良好的匹配。,机器功能：好的硬件技术、改进的系统结构特性、有效的资源管理,程序行为：难预测，与应用和运行条件有密切的关系。如算法设计、数据结构、语言效率、程序员的技能、编译技术,21,Advanced Computer Architecture,由于机器性能会随程序而变化，因此，应该在一定范围内或按调和分布来描述性能。,描述性能的一些术语和公式：,时钟频率：,CPU,是由一个恒定周期（,，,以,ns,表示）的时钟驱动。周期的倒数是时钟频率,f=1/，

15、,以,MHz,表示,CPI(Cycle Per Instruction)：,一条指令的周期数。不针对某类指令，则表示给定的指令系统和综合程序的平均值。,22,Advanced Computer Architecture,性能因子,：五个,Ic,已知程序的指令条数或指令计数，,p ,指令译码和执行所需的处理机周期数，,m ,所需的存储器访问次数，,k ,存储周期与处理机周期之比，,k,值与存储器技术及处 理机存储器互连方法有关。存储周期比处理机周期,大,k,倍。,T,执行程序所需的,CPU,时间。一条指令执行的过程一般分为取指令、译码、取操作数、执行、存储结果五个阶段。其中译码和执行由,CPU,

16、完成，称处理机周期；取指令、取操作数（有可能操作二次）和存储结果是对存储器操作，称存储器周期。,T=,Ic,CPI =,Ic,(pmk),23,Advanced Computer Architecture,系统属性：四个,指令系统结构,编译技术,处理机实现和控制技术,高速缓存与存储器层次结构,MIPS,速率：每秒百万次，表示,CPU,的执行速度,吞吐率：系统在单位时间内能执行多少个程序,24,Advanced Computer Architecture,MIPS,速率,：(,Million Instruction Per Second),每秒百万次，表示,CPU,的执行速度。,MISP,速率=,Ic,/(T10,6,)=f/(CPI10,6,)=(f,Ic,)/(C10,6,),C,是执行已知程序所需的时钟周期总数。,25,Advanced Computer Architecture,吞吐率,：,Wp,（,处理机吞吐率）：,处理机在单位时间内能执行多少个程序。,Wp,=f/(,Ic,CPI),Ws（,系统吞吐率）：,系统在单位时间内能执行多少个程序。,Ws,Wp,（Ws,有额外系统开销