计算机系统结构课件：第3章 流水线技术

《计算机系统结构课件：第3章 流水线技术》由会员分享，可在线阅读，更多相关《计算机系统结构课件：第3章 流水线技术（206页珍藏版）》请在装配图网上搜索。

1、1 1/206/206第3章 流水线技术2 2/206/2063.1重叠执行和先行控制3.2流水线的基本概念3.3流水线的性能指标3.4流水线的相关与冲突 3.5流水线的实现3.6向量处理机3 3/206/2061.将一条指令的执行过程分为三个阶段3.1 重叠执行和先行控制3.1.1 重叠执行 取取指指令令 分分 析析 执执 行行 时时间间t 一条指令的执行过程一条指令的执行过程 4 4/206/2063.1 重叠执行和先行控制取指令q按照指令计数器按照指令计数器PCPC的内容访问主存，取出一条指令的内容访问主存，取出一条指令 送到指令寄存器。送到指令寄存器。指令分析q对指令的操作码进行译码，

2、按照给定的寻址方式和对指令的操作码进行译码，按照给定的寻址方式和 地址字段形成操作数的地址，并用这个地址读取操地址字段形成操作数的地址，并用这个地址读取操 作数。作数。指令执行q按照操作码的要求，完成指令规定的功能。按照操作码的要求，完成指令规定的功能。在指令的执行过程中还要更新PC值，为读取下一 条指令做好准备。5 5/206/2063.1 重叠执行和先行控制2.三种执行方式顺序执行方式一次重叠执行方式二次重叠执行方式 6 6/206/2063.1 重叠执行和先行控制执行n条指令所花的时间 取取指指令令k 分分析析k 执执行行k 取取指指令令k+1 分分析析k+1 执执行行k+1 3.顺序执

3、行方式指令的执行过程niiiitttT1)(执行分析取指令7 7/206/2063.1 重叠执行和先行控制如果取指令、指令分析和指令执行的时间相等，都是t，则 T=3nt 优点q控制简单，节省设备。控制简单，节省设备。主要缺点q 处理机执行指令的速度慢处理机执行指令的速度慢q 功能部件的利用率很低功能部件的利用率很低8 8/206/2063.1 重叠执行和先行控制 取取指指令令 k 分分析析 k 执执行行 k 取取指指令令 k+1 分分析析k+1 执执行行 k+1 取取指指令令 k+2 分分析析k+2 执执行行k+2 4.一次重叠执行方式 指令的执行过程执行第k条指令与取第k+l条指令同时进行

4、。（一种最简单的重叠方式）（一种最简单的重叠方式）9 9/206/2063.1 重叠执行和先行控制如果执行一条指令的3个阶段的时间相等，都是 t，则执行n条指令所花的时间为 T=(1+2n)t 优点q程序的执行时间减少了近程序的执行时间减少了近1/31/3。q功能部件的利用率明显提高。功能部件的利用率明显提高。缺点q需要增加一些硬件，控制过程变复杂了。需要增加一些硬件，控制过程变复杂了。1010/206/2063.1 重叠执行和先行控制 取取指指令令k 分分析析k 执执行行k 取取指指令令k+1 分分析析k+1 执执行行k+1 取取指指令令k+2 分分析析k+2 执执行行k+2 5.二次重叠执

5、行方式 指令的执行过程 取第k+l条指令提前到与分析第k条指令同时进行，分析第k+l条指令与执行第k条指令同时进行。1111/206/2063.1 重叠执行和先行控制如果执行一条指令的3个阶段的时间相等，都是 t，则执行n条指令所花的时间为 T=(2+n)t 优点q与顺序执行方式相比，执行时间缩短了近与顺序执行方式相比，执行时间缩短了近2/32/3。q部件的利用率有了进一步的提高。部件的利用率有了进一步的提高。缺点q需要增加更多的硬件。需要增加更多的硬件。q需要设置独立的取指令部件、指令分析部件和指令执需要设置独立的取指令部件、指令分析部件和指令执行部件。行部件。1212/206/2063.1

6、 重叠执行和先行控制访问主存的冲突问题 4种解决方法q设置两个独立编址的存储器：设置两个独立编址的存储器：指令存储器指令存储器（存放指令）、（存放指令）、数据存储器数据存储器（存放数据）（存放数据）q指令和数据仍然混合存放在同一个主存中，但设置指令和数据仍然混合存放在同一个主存中，但设置 两个两个CacheCache：指令指令CacheCache、数据、数据CacheCache 程序空间和数据空间相互独立的系统结构被称为程序空间和数据空间相互独立的系统结构被称为哈佛哈佛结构结构。q 指令和数据仍然混合存放在同一个主存中，但主存采用指令和数据仍然混合存放在同一个主存中，但主存采用 多体交叉结构。

7、多体交叉结构。（有一定的局限性）（有一定的局限性）1313/206/2063.1 重叠执行和先行控制q在主存和指令分析部件之间增设在主存和指令分析部件之间增设指令缓冲站指令缓冲站 （又被称为（又被称为先行指令缓冲站先行指令缓冲站）n主存不是满负荷工作的，插空从主存中预先把后面将主存不是满负荷工作的，插空从主存中预先把后面将要执行的指令取出来，存放到指令缓冲站中。要执行的指令取出来，存放到指令缓冲站中。n在在“取指令取指令”阶段从指令缓冲站读取指令（如果指令阶段从指令缓冲站读取指令（如果指令缓冲站不为空），而不用去访问主存。缓冲站不为空），而不用去访问主存。1414/206/2063.1 重叠执

8、行和先行控制6.先行指令缓冲站先行指令缓冲站的组成 先先行行程程序序计计数数器器PC1 现现行行程程序序计计数数器器PC 指指令令分分析析部部件件 指指令令寄寄存存器器IR 控控制制逻逻辑辑 主主存存控控制制器器 指指令令缓缓冲冲 存存 储储 区区 1515/206/2063.1 重叠执行和先行控制指令缓冲存储区和相应的控制逻辑q按队列方式工作。按队列方式工作。q只要指令缓冲站不满，它就自动地向主存控制器发只要指令缓冲站不满，它就自动地向主存控制器发 取指令请求，不断地预取指令。取指令请求，不断地预取指令。指令分析部件q每分析完一条指令，就自动向指令缓冲站发出取下每分析完一条指令，就自动向指令

9、缓冲站发出取下 一条指令的请求。指令取出之后就把指令缓冲站中一条指令的请求。指令取出之后就把指令缓冲站中 的该指令作废。的该指令作废。q指令缓冲站中存放的指令的条数是动态变化的。指令缓冲站中存放的指令的条数是动态变化的。两个程序计数器1616/206/2063.1 重叠执行和先行控制q先行程序计数器先行程序计数器PC1PC1：用于从主存预取指令；用于从主存预取指令；q现行程序计数器现行程序计数器PCPC：用来记录指令分析部件当前正在用来记录指令分析部件当前正在 分析的指令的地址。分析的指令的地址。7.先行控制方式中的一次重叠执行 若取指令阶段的时间很短，可以把这个操作合并 到分析指令中。上述的

10、二次重叠就演变成了一次重叠q把一条指令的执行过程分为把一条指令的执行过程分为分析分析和和执行执行两个阶段；两个阶段；q让前一条指令的让前一条指令的执行执行与后一条指令的与后一条指令的分析分析重叠进行。重叠进行。1717/206/2063.1 重叠执行和先行控制 分析分析 k 执行执行 k 分析分析k+1 执行执行k+1 分析分析k+2 执行执行k+2 如果指令分析和指令执行所需要的时间都是t，则采用这种方式连续执行n条指令所需要的时间为：T=(1+n)t控制方式比较简单，得到了广泛应用。1818/206/2063.1 重叠执行和先行控制 分分析析 k 执执行行 k 分分析析 k+1 执执行行

11、k+1 分分析析 k+2 执执行行 k+2 执执行行 k+3 分分析析 k+3 当指令分析和指令执行所需要的时间不相等时，其执行过程为：指令分析部件和指令执行部件存在相互等待的时候，会出指令分析部件和指令执行部件存在相互等待的时候，会出现部件空闲的情况。现部件空闲的情况。1919/206/2063.1 重叠执行和先行控制1.先行控制技术：缓冲技术和预处理技术的结合缓冲技术：在工作速度不固定的两个功能部件之间设置缓冲器，用以平滑它们的工作。预处理技术：预取指令、对指令进行加工以及预取操作数等。2.采用先行控制方式的处理机结构 3.1.2 先行控制2020/206/2063.1 重叠执行和先行控制

12、 主主 存存 储储 器器 存存 储储 控控 制制 器器 先先行行指指令令缓缓冲冲站站 先先行行读读数数站站 后后行行写写数数站站 指指令令分分析析部部件件 先先行行操操作作站站 运运算算控控制制器器 运运算算器器 通通 用用 寄寄 存存 器器 2121/206/2063.1 重叠执行和先行控制设置了4个缓冲站（平滑主存、指令分析部件、运算器三者之间的工作）（平滑主存、指令分析部件、运算器三者之间的工作）q先行指令缓冲站（前面已讲述）先行指令缓冲站（前面已讲述）q先行操作站先行操作站q先行读数站先行读数站q后行写数站后行写数站 共同特点：共同特点：按先进先出的方式工作，而且都是由一组若按先进先出

13、的方式工作，而且都是由一组若 干个能快速访问的存储单元和相关的控制逻干个能快速访问的存储单元和相关的控制逻 辑组成。辑组成。2222/206/2063.1 重叠执行和先行控制先行操作站q在指令分析部件和运算器之间提供缓冲在指令分析部件和运算器之间提供缓冲q 先行：先行：因为其中的指令对于运算器正在执行的因为其中的指令对于运算器正在执行的 指令来说是后续的，但却被指令来说是后续的，但却被先行先行取出并预处理。取出并预处理。指令分析部件 q从先行指令缓冲站取指令，并进行预处理，加工成从先行指令缓冲站取指令，并进行预处理，加工成 统一格式的统一格式的RRRR型操作命令型操作命令，然后送入先行操作站。

14、，然后送入先行操作站。q对于不同指令做不同的处理。对于不同指令做不同的处理。2323/206/2063.1 重叠执行和先行控制q寄存器寄存器-寄存器型（寄存器型（RRRR型）指令：型）指令：可以不作任何处理，直可以不作任何处理，直 接送入。接送入。q操作数来自主存的运算指令：操作数来自主存的运算指令：计算出操作数的有效地计算出操作数的有效地 址，并将该地址送入先行读数站的某个存储单元（设其址，并将该地址送入先行读数站的某个存储单元（设其地址为地址为i i），同时用），同时用i i替换原来指令中的操作数地址码字段。替换原来指令中的操作数地址码字段。q向主存向主存“写数写数”的指令：的指令：把形成

15、的有效地址送入后行写把形成的有效地址送入后行写 数站的某个存储单元（设其地址为数站的某个存储单元（设其地址为j j），同时用），同时用j j替换原替换原来指令中的目标地址码字段。来指令中的目标地址码字段。q立即数型指令：立即数型指令：把指令中的立即数送入读数站（设为第把指令中的立即数送入读数站（设为第l l 个存储单元），同样也用个存储单元），同样也用l l替换原来指令中的立即数字替换原来指令中的立即数字 段。段。2424/206/2063.1 重叠执行和先行控制运算器q从先行操作站取出从先行操作站取出RRRR型型操作命令并执行。操作命令并执行。q每执行完一条，将运算结果写入通用寄存器组或者每

16、执行完一条，将运算结果写入通用寄存器组或者 后行写数站。后行写数站。q继续执行先行操作站中的后续命令。继续执行先行操作站中的后续命令。先行读数站q作用：作用：接收指令分析部件送来的访问主存的有效地接收指令分析部件送来的访问主存的有效地 址，按顺序依次从主存读取操作数，提供给运算器址，按顺序依次从主存读取操作数，提供给运算器 使用。使用。q先行：先行：因为对于正在执行的指令来说，先行读数站因为对于正在执行的指令来说，先行读数站 中的操作数是中的操作数是先行先行取出的。取出的。2525/206/2063.1 重叠执行和先行控制q每个存储单元由每个存储单元由3 3部分部分组成：组成：先行地址字段、先

17、行操作数字段、标志字段先行地址字段、先行操作数字段、标志字段n每当从指令分析部件接收有效地址时，将之放每当从指令分析部件接收有效地址时，将之放入先行地址字段，并将地址有效标志置位。入先行地址字段，并将地址有效标志置位。n等到该单元成为队列的第一项时，先行读数站等到该单元成为队列的第一项时，先行读数站会用该地址向主存发出读请求，把取来的操作数会用该地址向主存发出读请求，把取来的操作数放入该单元的先行操作数字段，同时将数据有效标放入该单元的先行操作数字段，同时将数据有效标志置位。志置位。n当以后运算器需要该操作数时，就可以直接从当以后运算器需要该操作数时，就可以直接从先行读数站取得，而不必去访问主

18、存。先行读数站取得，而不必去访问主存。2626/206/2063.1 重叠执行和先行控制后行写数站q作用：作用：接收从运算器送来的结果数据，并负责将之接收从运算器送来的结果数据，并负责将之 写入主存。写入主存。q后行：后行：因为站在运算器的角度来看，结果数据不是在因为站在运算器的角度来看，结果数据不是在相应的指令运算完后立即写入主存，而是由后行写数相应的指令运算完后立即写入主存，而是由后行写数站站滞后滞后写入的。写入的。q每一个存储单元由每一个存储单元由3 3部分部分组成：组成：后行地址字段、后行数据字段、标志字段后行地址字段、后行数据字段、标志字段 每当从运算器接收数据时，将之放入后行数据字

19、每当从运算器接收数据时，将之放入后行数据字段，并把相应的数据有效标志置位。后行写数站的控段，并把相应的数据有效标志置位。后行写数站的控制逻辑自动向主存发出写数请求。当写数据操作完成制逻辑自动向主存发出写数请求。当写数据操作完成后，也要置位有关标志。后，也要置位有关标志。2727/206/2063.1 重叠执行和先行控制3.采用先行控制后的一次重叠执行 分析分析 k 执行执行 k 分析分析k+1 执行执行k+1 分析分析k+2 执行执行k+2 执行执行k+3 分析分析k+3 指令分析部件在不间断地分析指令，而指令执行部件则在指令分析部件在不间断地分析指令，而指令执行部件则在不间断地执行指令，它们

20、都始终处于忙碌状态。不间断地执行指令，它们都始终处于忙碌状态。2828/206/2063.1 重叠执行和先行控制理想情况下，指令执行部件应该是一直忙碌的。处理机连续执行n条指令所需要的时间为niiniitttT111执行执行分析先行2929/206/2061.工业生产流水线 下面通过一个例子来说明流水线的好处:两种方案两种方案的工作过程对比流水线生产过程的抽象描述这种流水工作方式的主要特点3.2 流水线的基本概念3.2.1 什么是流水线3030/206/2063.2 流水线的基本概念2.流水线技术把一个重复的过程分解为若干个子过程，每个子过程由专门的功能部件来实现。把多个处理过程在时间上错开，

21、依次通过各功能段，这样，每个子过程就可以与其他的子过程并行进行。3.流水线中的每个子过程及其功能部件称为流水线的级或段，段与段相互连接形成流水线。流水线的段数称为流水线的深度。3131/206/2063.2 流水线的基本概念4.指令流水线 把指令的解释过程分解为分析和执行两个子过程，并让这两个子过程分别用独立的分析部件和执行部件来实现。理想情况：速度提高一倍 4段指令流水线 取指令取指令 译译 码码 执执 行行 存结果存结果 入入 出出 3232/206/2063.2 流水线的基本概念5.浮点加法流水线把流水线技术应用于运算的执行过程，就形成了 运算操作流水线，也称为部件级流水线。把浮点加法的

22、全过程分解为求阶差、对阶、尾数 相加、规格化4个子过程。理想情况：速度提高3倍 求阶差求阶差 对对 阶阶 尾数相加尾数相加 规格化规格化 t t t t 入入 出出 6.时空图时空图从时间和空间两个方面描述了流水线的工作过程。时空图中，横坐标代表时间，纵坐标代表流水线的各个段。4段指令流水线的时空图 取取指指令令 译译 码码 执执 行行 存存结结果果 空空间间 时时间间 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 5 5 5 5 6 6 5 6 6（单单位位：t）0 1 2 3 4 5 6 7 8 9 3434/206/2063.2 流水线的基本概念7.流水技术的特点流水线

23、把一个处理过程分解为若干个子过程（段），每个子过程由一个专门的功能部件来实现。流水线中各段的时间应尽可能相等，否则将引起流水线堵塞、断流。时间长的段将成为时间长的段将成为流水线的瓶颈。流水线的瓶颈。流水线每一个功能部件的后面都要有一个缓冲寄存器（锁存器），称为流水寄存器。q作用：作用：在相邻的两段之间传送数据，以保证提供后在相邻的两段之间传送数据，以保证提供后 面要用到的数据，并把各段的处理工作相互隔离。面要用到的数据，并把各段的处理工作相互隔离。3535/206/2063.2 流水线的基本概念流水技术适合于大量重复的时序过程，只有在输入端不断地提供任务，才能充分发挥流水线的效率。流水线需要有

24、通过时间和排空时间。q通过时间：通过时间：第一个任务从进入流水线到流出结果第一个任务从进入流水线到流出结果 所需的时间。所需的时间。q排空时间：排空时间：最后一个任务从进入流水线到流出结最后一个任务从进入流水线到流出结 果所需的时间。果所需的时间。3636/206/2063.2 流水线的基本概念 从不同的角度和观点，把流水线分成多种不同的种类。1.单功能流水线与多功能流水线 （按照流水线所完成的功能来分类）（按照流水线所完成的功能来分类）单功能流水线：只能完成一种固定功能的流水线。多功能流水线：流水线的各段可以进行不同的 连接，以实现不同的功能。例：例：ASCASC的多功能流水线的多功能流水线

25、3.2.2 流水线的分类 求求 阶阶 差差 对对 阶阶 相相 加加 规规格格化化 相相 乘乘 累累 加加 输输 出出 1 2 3 4 6 5 7 8 输输 入入 输输 入入 相相 加加 规规格格化化 输输 出出 输输 出出 累累 加加 相相 乘乘 输输 入入 求求 阶阶 差差 对对 阶阶 2 3 4 5 6 7 8 6 7 8 （b）浮浮点点连连接接 （a）分分段段 （c）定定乘乘连连接接 1 1 2 3 4 5 3838/206/2063.2 流水线的基本概念2.静态流水线与动态流水线（按照同一时间内各段之间的连接方式对多功能流水线做（按照同一时间内各段之间的连接方式对多功能流水线做进一步的

26、分类）进一步的分类）静态流水线：在同一时间内，多功能流水线中的 各段只能按同一种功能的连接方式工作。q对于静态流水线来说，只有当输入的是一串相同的对于静态流水线来说，只有当输入的是一串相同的 运算任务时，流水的效率才能得到充分的发挥。运算任务时，流水的效率才能得到充分的发挥。例如：例如：ASCASC的的8 8段流水线段流水线3939/206/2063.2 流水线的基本概念动态流水线：在同一时间内，多功能流水线中的各段可以按照不同的方式连接，同时执行多种功能。动画q优点优点 灵活，能够提高流水线各段的使用率，从而灵活，能够提高流水线各段的使用率，从而 提高处理速度。提高处理速度。q缺点缺点 控制

27、复杂。控制复杂。静、动态流水线时空图的对比4141/206/2063.2 流水线的基本概念3.部件级、处理机级及处理机间流水线（按照流水的级别来进行分类）（按照流水的级别来进行分类）部件级流水线（运算操作流水线）：把处理机的算术逻辑运算部件分段，使得各种类型的运算操作能够按流水方式进行。处理机级流水线（指令流水线）：把指令的解释执行过程按照流水方式处理。把一条指令的执行过程分解为若干个子过程，每个子过程在独立的功能部件中执行。例如：前面的例如：前面的4 4段段指令流水线指令流水线4242/206/2063.2 流水线的基本概念处理机间流水线（宏流水线）：它是由两个或者 两个以上的处理机串行连接

28、起来，对同一数据流 进行处理，每个处理机完成整个任务中的一部 分。动画解析 数据流数据流 处理机处理机 1 处理机处理机 2 处理机处理机 n 存储器存储器 存储器存储器 存储器存储器 任务任务 1 任务任务 2 任务任务 n 4343/206/2063.2 流水线的基本概念4.线性流水线与非线性流水线（按照流水线中是否有反馈回路来进行分类）（按照流水线中是否有反馈回路来进行分类）线性流水线：流水线的各段串行连接，没有反馈回路。数据通过流水线中的各段时，每一个段最多只流过一次。非线性流水线：流水线中除了有串行的连接外，还有反馈回路。（举例）非线性流水线的调度问题q确定什么时候向流水线引进新的任

29、务，才能使该任务不确定什么时候向流水线引进新的任务，才能使该任务不会与先前进入流水线的任务发生冲突会与先前进入流水线的任务发生冲突争用流水段。争用流水段。4444/206/2063.2 流水线的基本概念4545/206/2063.2 流水线的基本概念5.顺序流水线与乱序流水线（根据任务流入和流出的顺序是否相同来进行分类（根据任务流入和流出的顺序是否相同来进行分类）顺序流水线：流水线输出端任务流出的顺序与输 入端任务流入的顺序完全相同。每一个任务在流 水线的各段中是一个跟着一个顺序流动的。乱序流水线：流水线输出端任务流出的顺序与输 入端任务流入的顺序可以不同，允许后进入流水 线的任务先完成（从输

30、出端流出）。也称为无序流水线、错序流水线、异步流水线也称为无序流水线、错序流水线、异步流水线4646/206/2063.2 流水线的基本概念6.标量处理机与向量流水处理机 把指令执行部件中采用了流水线的处理机称为流 水线处理机。标量处理机：处理机不具有向量数据表示和向量 指令，仅对标量数据进行流水处理。向量流水处理机：具有向量数据表示和向量指令 的处理机。向量数据表示和流水技术的结合。向量数据表示和流水技术的结合。4747/206/206 吞吐率：在单位时间内流水线所完成的任务数量或输 出结果的数量。3.3 流水线的性能指标3.3.1 吞吐率KTnTP n：任务数Tk：处理完成n个任务所用的时

31、间4848/206/2063.3 流水线的性能指标1.各段时间均相等的流水线各段时间均相等的流水线时空图 S1 S2 S3 S4 空间空间 时间时间 1（单位：单位：t）1 1 1 2 2 2 2 3 3 3 3 n-1 n-1 n-1 n-1 n n n n kt(n-1)t Tk 4949/206/2063.3 流水线的性能指标流水线完成n个连续任务所需要的总时间为（假设一条（假设一条k k段段线性流水线）线性流水线）Tkkt(n-1)t(kn-1)t 流水线的实际吞吐率tnknTP)1(ttnknTPn11limmax最大吞吐率5050/206/2063.3 流水线的性能指标最大吞吐率与

32、实际吞吐率的关系 max1TPnknTPq流水线的实际吞吐率小于最大吞吐率，它除了与每流水线的实际吞吐率小于最大吞吐率，它除了与每个段的时间有关外，还与流水线的段数个段的时间有关外，还与流水线的段数k k以及输入到以及输入到流水线中的任务数流水线中的任务数n n等有关。等有关。q只有当只有当n nk k时，才有时，才有TPTPTPTPmaxmax。5151/206/2063.3 流水线的性能指标2.各段时间不完全相等的流水线 各段时间不等的流水线及其时空图 举例（时空图）q一条一条4 4段段的流水线的流水线qS1S1，S3S3，S4S4各段的时间：各段的时间：t tqS2S2的时间：的时间：3

33、3t t （瓶颈段）瓶颈段）流水线中这种时间最长的段称为流水线的瓶颈段。5252/206/2063.3 流水线的性能指标5353/206/2063.3 流水线的性能指标各段时间不等的流水线的实际吞吐率：（t ti i为第为第i i段的时间，共有段的时间，共有k k个段个段 ）kikitttntnTP121),max()1(流水线的最大吞吐率为),max(121maxktttTP5454/206/2063.3 流水线的性能指标 例如：一条4段的流水线中，S1，S2，S4各段的时间都是t，唯有S3的时间是3t。S1 S3 S2 S4 入入 出出 t t 3t t 最大吞吐率为tTP31max555

34、5/206/2063.3 流水线的性能指标3.解决流水线瓶颈问题的常用方法 举例细分瓶颈段 例如：例如：对前面的对前面的4 4段段流水线流水线把瓶颈段把瓶颈段S S3 3细分为细分为3 3个子流水线段：个子流水线段：S S3a3a，S S3b3b，S S3c3c S1 S2 入入 出出 S4 t t t t t t S3a S3c S3b 改进后的流水线的吞吐率改进后的流水线的吞吐率 ：tTP1max5656/206/2063.3 流水线的性能指标重复设置瓶颈段q举例：举例：时空图时空图q缺点：缺点：控制逻辑比较复杂，所需的硬件增加了。控制逻辑比较复杂，所需的硬件增加了。例如：例如：对前面的对

35、前面的4 4段流水线段流水线 重复设置瓶颈段重复设置瓶颈段S S3 3：S S3a3a，S S3b3b，S S3c3c S1 S3a S2 S3b 入入 出出 S3c S4 t t t 3t 5757/206/2063.3 流水线的性能指标 段段 S3b S3a S2 S3c S4 时时间间 S1 1 6 2 3 4 5 7 1 2 3 4 5 6 7 8 9 8 9 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 重复设置瓶颈段后的时空图重复设置瓶颈段后的时空图5858/206/2063.3 流水线的性能指标加速比：完成同样一批任务，不使用流水线所用的时间 与使用流水

36、线所用的时间之比。假设：不使用流水线（即顺序执行）所用的间假设：不使用流水线（即顺序执行）所用的间为为T Ts s，使用流水线后所用的时间为，使用流水线后所用的时间为T Tk k，则该流，则该流水线的加速比为水线的加速比为3.3.2 加速比ksTTS 5959/206/2063.3 流水线的性能指标1.流水线各段时间相等（都是t）一条k段流水线完成n个连续任务 所需要的时间为所需要的时间为 Tk=(kn-1)t顺序执行n个任务 所需要的时间：所需要的时间：Ts=nkt （解释解释）流水线的实际加速比为1nknkS6060/206/2063.3 流水线的性能指标最大加速比knknkSn1limm

37、ax当当n nk k时，时，S S k k思考：思考：流水线的段数愈多愈好？流水线的段数愈多愈好？6161/206/2063.3 流水线的性能指标2.流水线的各段时间不完全相等时一条k段流水线完成n个连续任务的实际加速比为kikikiitttnttnS1211),max()1(6262/206/2063.3 流水线的性能指标效率：流水线中的设备实际使用时间与整个运行时间 的比值，即流水线设备的利用率。由于流水线有通过时间和排空时间，所以在连续由于流水线有通过时间和排空时间，所以在连续完成完成n n个个任务的时间内，各段并不是满负荷地工作。任务的时间内，各段并不是满负荷地工作。1.各段时间相等各

38、段的效率ei相同 (解释)3.3.3 效率121nknTtneeekk6363/206/2063.3 流水线的性能指标整条流水线的效率为kkkTtknkkekeeeE1211nknE11limmaxnknEn 可以写成 最高效率为 当当n nk k时，时，E E11。6464/206/2063.3 流水线的性能指标当流水线各段时间相等时，流水线的效率与吞吐率 成正比。E=TPt 2.流水线的效率是流水线的实际加速比S与它的最大加速 比k的比值。kSE 当当E E=1=1时，时，S S=k k，实际加速比达到最大。，实际加速比达到最大。6565/206/2063.3 流水线的性能指标3.从时空图

39、上看，效率就是n个任务占用的时空面积和 k个段总的时空面积之比。个段总的时空区区个任务实际占用的时空knE kikikiitttntktnE1211),max()1(当各段时间不相等时6666/206/2063.3 流水线的性能指标 例例3.13.1 设在下图所示的静态流水线上计算：设在下图所示的静态流水线上计算：流水线的输出可以直接返回输入端或暂存于相应的流水寄存器中，流水线的输出可以直接返回输入端或暂存于相应的流水寄存器中，试计算其吞吐率、加速比和效率。试计算其吞吐率、加速比和效率。3.3.4 流水线的性能分析举例)(41iiiBA 1 2 3 4 5 乘法乘法 加减法加减法 6 7 8(

40、每段的时间都为每段的时间都为t t)6767/206/2063.3 流水线的性能指标解解：（1 1）选择适合于流水线工作的算法选择适合于流水线工作的算法q先计算先计算A A1 1+B B1 1、A A2 2+B B2 2、A A3 3+B B3 3和和A A4 4+B B4 4；q再计算再计算(A A1 1+B B1 1)(A A2 2+B B2 2)和和(A A3 3+B B3 3)(A A4 4+B B4 4)；q然后求总的乘积结果。然后求总的乘积结果。（2 2）画出时空图）画出时空图 3.3 流水线的性能指标 时间 段 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8

41、9 10 11 12 13 14 15 16 17 18 输 入 A1 B1 A2 B2 A3 B3 A4 B4 A B C D A B C D AB CD AB CD ABCD A=A1+B1 B=A2+B2 C=A3+B3 D=A4+B4 tTP18721836ttS25.01884364E6969/206/2063.3 流水线的性能指标p在在1818个个t t时间中，给出了时间中，给出了7 7个个结果。吞吐率为：结果。吞吐率为：tTP187p 不用流水线，由于一次求和需不用流水线，由于一次求和需6 6t t，一次求积需一次求积需4 4t t，则产生上述则产生上述7 7个结果共需个结果共需

42、（4 46+36+34 4）t t=36=36t t 加速比为加速比为（3 3）计算性能）计算性能21836ttS7070/206/2063.3 流水线的性能指标p 流水线的效率流水线的效率 25.01884364E可以看出，在求解此问题时，该流水线的效率不高。(原因)7171/206/2063.3 流水线的性能指标主要原因q多功能流水线在做某一种运算时，总有一些段是空多功能流水线在做某一种运算时，总有一些段是空闲的。闲的。q静态流水线在进行功能切换时，要等前一种运算全静态流水线在进行功能切换时，要等前一种运算全部流出流水线后才能进行后面的运算。部流出流水线后才能进行后面的运算。q运算之间存在

43、关联，后面有些运算要用到前面运算运算之间存在关联，后面有些运算要用到前面运算的结果。的结果。q流水线的工作过程有建立与排空部分。流水线的工作过程有建立与排空部分。7272/206/2063.3 流水线的性能指标 例例3.2 3.2 有一条动态多功能流水线由有一条动态多功能流水线由5 5段组成，加法用段组成，加法用1 1、3 3、4 4、5 5段，乘法用段，乘法用1 1、2 2、5 5段，第段，第2 2段的时间为段的时间为2 2t t，其余各段时间，其余各段时间均为均为t t，而且流水线的输出可以直接返回输入端或暂存于相应，而且流水线的输出可以直接返回输入端或暂存于相应的流水寄存器中。若在该流水

44、线上计算的流水寄存器中。若在该流水线上计算:试计算其吞吐率、加速比和效率。试计算其吞吐率、加速比和效率。)(41iiiBA 1 2 3 4 5 乘法乘法 加法加法 t 2t t t t 7373/206/2063.3 流水线的性能指标解解:(1)(1)选择适合于流水线工作的算法选择适合于流水线工作的算法p应先计算应先计算A A1 1B B1 1、A A2 2B B2 2、A A3 3B B3 3和和A A4 4B B4 4；p再计算再计算(A A1 1B B1)1)(A A2 2B B2)2)(A A3 3B B3)3)(A A4 4B B4)4)；p然后求总的累加结果。然后求总的累加结果。(

45、2)(2)画出时空图画出时空图(3)(3)计算性能计算性能7474/206/2063.3 流水线的性能指标 时间 段 1 2 3 4 5 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 输 入 A1 B1 A2 B2 A3 B3 A4 B4 A B C D A B C D AB CD AB CD ABCD A=A1B1 B=A2B2 C=A3B3 D=A4B4 18 56.11828ttStTP18731.01854344E7575/206/2063.3 流水线的性能指标 下面我们再看一个例子：下面我们再看一个例子：例例 在在静态流水线静态流水线上计算上

46、计算:求：吞吐率，加速比，效率。求：吞吐率，加速比，效率。解：解：(1)(1)确定适合于流水处理的确定适合于流水处理的计算过程计算过程 (2)(2)画时空图画时空图 (3)(3)性能计算性能计算 吞吐率吞吐率 TPTP7 7(20(20t t)加速比加速比 S S(34(34t t)(20(20t t)1.71.7 效率效率 E E(4(44 43 36)6)(8(820)20)0.210.21)(41iiiBA 7676/206/2063.3 流水线的性能指标7777/206/2063.3 流水线的性能指标可以看出，在求解此问题时，该流水线的效率不高。动态流水线的时空图 举例举例 :这样行不

47、行？正确答案7878/206/2063.3 流水线的性能指标1.瓶颈问题理想情况下，流水线在工作时，其中的任务是同步地每一个时钟周期往前流动一段。当流水线各段不均匀时，机器的时钟周期取决于瓶颈段的延迟时间。在设计流水线时，要尽可能使各段时间相等。2.流水线的额外开销p流水寄存器延迟流水寄存器延迟p时钟偏移开销时钟偏移开销3.3.5 流水线设计中的若干问题7979/206/2063.3 流水线的性能指标流水寄存器需要建立时间和传输延迟q建立时间：建立时间：在触发写操作的时钟信号到达之前，寄在触发写操作的时钟信号到达之前，寄 存器输入必须保持稳定的时间。存器输入必须保持稳定的时间。q传输延迟：传输

48、延迟：时钟信号到达后到寄存器输出可用的时时钟信号到达后到寄存器输出可用的时 间。间。时钟偏移开销q流水线中，时钟到达各流水寄存器的最大差值时间。流水线中，时钟到达各流水寄存器的最大差值时间。（时钟到达各流水寄存器的时间不是完全相同）（时钟到达各流水寄存器的时间不是完全相同）8080/206/2063.3 流水线的性能指标几个问题q流水线并不能减少（而且一般是增加）单条指令的流水线并不能减少（而且一般是增加）单条指令的执行时间，但却能提高吞吐率。执行时间，但却能提高吞吐率。q增加流水线的深度（段数）可以提高流水线的性能。增加流水线的深度（段数）可以提高流水线的性能。q流水线的深度受限于流水线的额

49、外开销。流水线的深度受限于流水线的额外开销。q当时钟周期小到与额外开销相同时，流水已没意义。当时钟周期小到与额外开销相同时，流水已没意义。因为这时在每一个时钟周期中已没有时间来做有用因为这时在每一个时钟周期中已没有时间来做有用的工作。的工作。3.冲突问题 流水线设计中要解决的重要问题之一。8181/206/206介绍一个经典的5段RISC流水线 首先讨论在非流水情况下是如何实现的1.一条指令的执行过程分为以下5个周期：取指令周期（IF）qIR MemPC IR MemPC。qPCPC值加值加4 4。（假设每条指令占。（假设每条指令占4 4个字节）个字节）3.4 流水线的相关与冲突3.4.1 一

50、个经典的5段流水线8282/206/2063.4 流水线的相关与冲突指令译码/读寄存器周期（ID）q译码。译码。q用用IRIR中的寄存器编号去访问通用寄存器组，读出所需中的寄存器编号去访问通用寄存器组，读出所需的操作数。的操作数。执行/有效地址计算周期（EX）不同指令所进行的操作不同：q存储器访问指令：存储器访问指令：ALUALU把所指定的寄存器的内容与偏把所指定的寄存器的内容与偏 移量相加，形成用于访存的有效地址。移量相加，形成用于访存的有效地址。q寄存器寄存器寄存器寄存器ALUALU指令：指令：ALUALU按照操作码指定的操按照操作码指定的操 作对从通用寄存器组中读取的数据进行运算。作对从

51、通用寄存器组中读取的数据进行运算。8383/206/2063.4 流水线的相关与冲突q寄存器立即数寄存器立即数ALUALU指令：指令：ALUALU按照操作码指定的操按照操作码指定的操 作对从通用寄存器组中读取的第一操作数和立即数作对从通用寄存器组中读取的第一操作数和立即数 进行运算。进行运算。q分支指令：分支指令：ALUALU把偏移量与把偏移量与PCPC值相加，形成转移目标值相加，形成转移目标 的地址。同时，对在前一个周期读出的操作数进行的地址。同时，对在前一个周期读出的操作数进行 判断，确定分支是否成功。判断，确定分支是否成功。存储器访问分支完成周期（MEM）该周期处理的指令只有load、s

52、tore和分支指令。其他类型的指令在此周期不做任何操作。8484/206/2063.4 流水线的相关与冲突qloadload和和storestore指令指令loadload指令：指令：用上一个周期计算出的有效地址从存储器中用上一个周期计算出的有效地址从存储器中 读出相应的数据。读出相应的数据。storestore指令：指令：把指定的数据写入这个有效地址所指出的存把指定的数据写入这个有效地址所指出的存 储器单元。储器单元。q分支指令分支指令 分支分支“成功成功”，就把转移目标地址送入，就把转移目标地址送入PCPC。分支指令执行完成。分支指令执行完成。8585/206/2063.4 流水线的相关与

53、冲突写回周期（WB）ALU运算指令和load指令在这个周期把结果数据写入通用寄存器组。ALUALU运算指令：运算指令：结果数据来自结果数据来自ALUALU。loadload指令：指令：结果数据来自存储器系统。结果数据来自存储器系统。在这个实现方案中：p分支指令需要分支指令需要4 4个时钟个时钟周期（如果把分支指令的执行周期（如果把分支指令的执行 提前到提前到IDID周期，则只需要周期，则只需要2 2个个周期）。周期）。pstorestore指令需要指令需要4 4个个周期。周期。p其他指令需要其他指令需要5 5个个周期才能完成。周期才能完成。2.将上述实现方案修改为流水线实现一个经典的5段流水线

54、 q每一个周期作为一个流水段。每一个周期作为一个流水段。q在各段之间加上锁存器（流水寄存器）。在各段之间加上锁存器（流水寄存器）。8787/206/2063.4 流水线的相关与冲突5段流水线的两种描述方式q第一种描述第一种描述（类似于时空图）（类似于时空图）第二种描述（按时间错开的数据通路序列）8989/206/206 3.采用流水线方式实现时，应解决以下几个问题：要保证不会在同一时钟周期要求同一个功能段做 两件不同的工作。例如，不能要求例如，不能要求ALUALU同时做有效地址计算和算术运算。同时做有效地址计算和算术运算。避免IF段的访存（取指令）与MEM段的访存（读/写数据）发生冲突。q可以

55、采用分离的指令存储器和数据存储器；可以采用分离的指令存储器和数据存储器；q一般采用分离的指令一般采用分离的指令CacheCache和数据和数据CacheCache。ID段和WB段都要访问同一寄存器文件。IDID段：读段：读WBWB段：写段：写3.4 流水线的相关与冲突9090/206/2063.4 流水线的相关与冲突如何解决对同一寄存器的访问冲突？如何解决对同一寄存器的访问冲突？把写操作安排在时钟周期的前半拍完成，把读操作把写操作安排在时钟周期的前半拍完成，把读操作安排在后半拍完成。安排在后半拍完成。考虑PC的问题q流水线为了能够每个时钟周期启动一条新的指令，流水线为了能够每个时钟周期启动一条

56、新的指令，就必须在每个时钟周期进行就必须在每个时钟周期进行PCPC值的加值的加4 4操作，并保留操作，并保留新的新的PCPC值。这种操作值。这种操作必须在必须在IFIF段完成，段完成，以便为取下以便为取下一条指令做好准备。一条指令做好准备。（需设置一个专门的加法器）（需设置一个专门的加法器）q但分支指令也可能改变但分支指令也可能改变P PC C的值，而且是在的值，而且是在MEMMEM段段进行，进行，这会导致冲突。这会导致冲突。请考虑一下，如何处理分支指令？请考虑一下，如何处理分支指令？9191/206/2063.4 流水线的相关与冲突相关：两条指令之间存在某种依赖关系。如果两条指令相关，则它们

57、就有可能不能在流如果两条指令相关，则它们就有可能不能在流水线中重叠执行或者只能部分重叠执行。水线中重叠执行或者只能部分重叠执行。相关有3种类型q数据相关（也称真数据相关）数据相关（也称真数据相关）q名相关名相关q控制相关控制相关3.4.2 相关与流水线冲突3.4.2.1 相关9292/206/2063.4 流水线的相关与冲突1.数据相关 对于两条指令i（在前，下同）和j（在后，下同），如果下述条件之一成立，则称指令j与指令i数据相关。q指令指令j j使用指令使用指令i i产生的结果；产生的结果；q指令指令j j与指令与指令k k数据相关，而指令数据相关，而指令k k又与指令又与指令i i数据相

58、关。数据相关。数据相关具有传递性。数据相关反映了数据的流动关系，即如何从其产 生者流动到其消费者。9393/206/2063.4 流水线的相关与冲突 例如：例如：下面这一段代码存在数据相关。下面这一段代码存在数据相关。LoopLoop：L.D L.D F0F0，0 0（R1R1）/F0/F0为数组元素为数组元素 ADD.D ADD.D F4F4，F0F0，F2F2/加上加上F2F2中的值中的值 S.D S.D F4F4，0 0（R1R1）/保存结果保存结果 DADDIU DADDIU R1R1，R1R1，8 8/数组指针递减数组指针递减8 8个字节个字节 BNE BNE R1R1，R2R2，L

59、oopLoop/如果如果R1R2R1R2，则分支，则分支 9494/206/2063.4 流水线的相关与冲突当数据的流动是经过寄存器时，相关的检测比较 直观和容易。当数据的流动是经过存储器时，检测比较复杂。q相同形式的地址其有效地址未必相同。相同形式的地址其有效地址未必相同。q形式不同的地址其有效地址却可能相同。形式不同的地址其有效地址却可能相同。2.名相关名：指令所访问的寄存器或存储器单元的名称。如果两条指令使用相同的名，但是它们之间并没有数据流动，则称这两条指令存在名相关。9595/206/2063.4 流水线的相关与冲突指令j与指令i之间的名相关有两种：q反相关：反相关：如果指令如果指令

60、j j写的名与指令写的名与指令i i读的名相同，则读的名相同，则 称指令称指令i i和和j j发生了反相关。发生了反相关。指令指令j j写的名指令写的名指令i i读的名读的名q输出相关：输出相关：如果指令如果指令j j和指令和指令i i写相同的名，则称指写相同的名，则称指 令令i i和和j j发生了输出相关。发生了输出相关。指令指令j j写的名指令写的名指令i i写的名写的名9696/206/2063.4 流水线的相关与冲突名相关的两条指令之间并没有数据的传送。如果一条指令中的名改变了，并不影响另外一条指令的执行。换名技术q换名技术：换名技术：通过改变指令中操作数的名来消除名相关。通过改变指令

61、中操作数的名来消除名相关。q对于寄存器操作数进行换名称为对于寄存器操作数进行换名称为寄存器换名。寄存器换名。既可以用编译器静态实现，也可以用硬件动态完成。既可以用编译器静态实现，也可以用硬件动态完成。9797/206/2063.4 流水线的相关与冲突例如：例如：考虑下述代码：考虑下述代码：DIV.DDIV.DF2F2，F6F6，F4F4 ADD.D ADD.DF6F6，F0F0，F12F12 SUB.D SUB.DF8F8，F6F6，F14F14 DIV.DDIV.D和和ADD.DADD.D存在反相关。存在反相关。进行寄存器换名（进行寄存器换名（F6F6换成换成S S）后，变成：）后，变成：D

62、IV.DDIV.DF2F2，F6F6，F4F4 ADD.D ADD.DS S，F0F0，F12F12 SUB.D SUB.DF8F8，S S，F14 F14 9898/206/2063.4 流水线的相关与冲突3.控制相关 控制相关是指由分支指令引起的相关。q为了保证程序应有的执行顺序，必须严格按控制相为了保证程序应有的执行顺序，必须严格按控制相 关确定的顺序执行。关确定的顺序执行。典型的程序结构是“if-then”结构。请看一个示例：if p1 if p1 S1 S1；S S；if p2 if p2 S2 S2；9999/206/2063.4 流水线的相关与冲突控制相关带来了以下两个限制：q与

63、一条分支指令控制相关的指令不能被移到该分支与一条分支指令控制相关的指令不能被移到该分支 之前，否则这些指令就不受该分支控制了。之前，否则这些指令就不受该分支控制了。对于上述的例子，对于上述的例子，thenthen 部分中的指令不能移到部分中的指令不能移到ifif语语句之前。句之前。q如果一条指令与某分支指令不存在控制相关，就不如果一条指令与某分支指令不存在控制相关，就不 能把该指令移到该分支之后。能把该指令移到该分支之后。对于上述的例子，不能把对于上述的例子，不能把S S移到移到ifif语句的语句的thenthen部分中。部分中。100100/206/2063.4 流水线的相关与冲突 流水线冲

64、突是指对于具体的流水线来说，由于相关的存在，使得指令流中的下一条指令不能在指定的时钟周期执行。流水线冲突有3种类型：q结构冲突：结构冲突：因硬件资源满足不了指令重叠执行的要因硬件资源满足不了指令重叠执行的要 求而发生的冲突。求而发生的冲突。q数据冲突：数据冲突：当指令在流水线中重叠执行时，因需要当指令在流水线中重叠执行时，因需要 用到前面指令的执行结果而发生的冲突。用到前面指令的执行结果而发生的冲突。q控制冲突：控制冲突：流水线遇到分支指令和其他会改变流水线遇到分支指令和其他会改变PCPC值值 的指令所引起的冲突。的指令所引起的冲突。3.4.2.2 流水线冲突101101/206/2063.4

65、 流水线的相关与冲突带来的几个问题：导致错误的执行结果。流水线可能会出现停顿，从而降低流水线的效率 和实际的加速比。我们约定 当一条指令被暂停时，在该暂停指令之后流出的所当一条指令被暂停时，在该暂停指令之后流出的所有指令都要被暂停，而在该暂停指令之前流出的指令则有指令都要被暂停，而在该暂停指令之前流出的指令则继续进行（否则就永远无法消除冲突）。继续进行（否则就永远无法消除冲突）。102102/206/2063.4 流水线的相关与冲突1.结构冲突在流水线处理机中，为了能够使各种组合的指令 都能顺利地重叠执行，需要对功能部件进行流水 或重复设置资源。如果某种指令组合因为资源冲突而不能正常执 行，则

66、称该处理机有结构冲突。常见的导致结构相关的原因：q功能部件不是完全流水功能部件不是完全流水q资源份数不够资源份数不够103103/206/2063.4 流水线的相关与冲突结构冲突举例：访存冲突 有些流水线处理机只有一个存储器，将数据和指令放在一起，访存指令会导致访存冲突。q解决办法解决办法：插入暂停周期插入暂停周期 （“流水线气泡流水线气泡”或或“气泡气泡”）引入暂停后的时空图引入暂停后的时空图q解决方法解决方法：设置相互独立的指令存储器和数据存储器设置相互独立的指令存储器和数据存储器 或设置相互独立的指令或设置相互独立的指令CacheCache和数据和数据CacheCache。104104/206/2063.4 流水线的相关与冲突由于访问同一个存储器而引起的结构冲突由于访问同一个存储器而引起的结构冲突 105105/206/2063.4 流水线的相关与冲突 时间（时钟周期）时间（时钟周期）1 2 3 4 5 6 M Reg ALU M Reg M Reg ALU M Reg M Reg ALU M Reg 7 8 load 指令指令 i+1 指令指令 i+2 暂暂 停停 M Reg