第5章离散时间系统最优控制

《第5章离散时间系统最优控制》由会员分享，可在线阅读，更多相关《第5章离散时间系统最优控制（17页珍藏版）》请在装配图网上搜索。

1、五.离散时间系统最优控制前而儿章所讨论的都是关丁连续时间系统的最优控制问题。然而在现实世 界中，很多实际系统本质上是时间离散的，如某些经济、能源系统。更为重要 的是，即使是系统是连续的，因为计算机是慕丁时间和数值上都离散的数字技 术的，任实行计算机控制时必须将时间离散化后作为离散系统处理。因此，本 章将要讨论离散时间系统的最优控制问题。5.1离散时间系统最优控制问题的提法(1) 离散系统举例考虑一个化工多级萊取过程的最优控制问题。萃取是指可以被溶解的物质在两种互不相溶的溶剂Z间的转移，一般用化 学实验或化工生产中将想耍提取的物质(通常倉量较低)从不易分离的溶剂中 转移到容易分离的溶剂(萃取剂)

2、中。多级萊取则是化工生产中提取某种价值 高、含最低的物质的常用生产工艺。多级萃取过程如图5所示。含力的混合物以流量/进入萃取器1,此时混 合物中4物质的浓度为x(0)«萃取剂以流皐讽0)通过萃取器1,单位体积萃取 剂带走的力物质的最为2(0)o 一般萃取过程荒取物的倉最均较低，所以可以认 为通过萃取器1后混合物的流晴不变，仍为几流出萃取器1的混合物中/物 质的浓度为x(l)o以此类推至萃取器M二(0)2(1)#1)二(Ml)63#图5.1多级萃取过程在萃取过程中,对第k个萃取器有如卜萃取平衡关系#(5-1-1)二优-1)= (灯 其中，K为萃取平衡常数。同时有物料平衡关系Vx (Zr

3、-l)-x(Ar)= u (Ar-l)z (肛 1)(5-1 2)由以上关系可列出萃取物浓度方程x(Ar) =x(l)(5-1-3)将视为x(灯状态变舄讹)视为控制变帚:，则上式可作为状态方程。假定力物质的单价为s萃取剂的单价为伐则N级萃取过程总的收益为NNJP =Hx(-l)-x(約卜另 0u(k)(5-1-4)(5-1-5)Jt-lJUON-l= qJ/x(0) x(N)E 处引进性能指标NNJ = = E x(r - 1) - 班約-吃 u(k)Ei=0N-lNT=工班紳班上+ 1) B工"(約*>0CO其q«B = Ao则该多级萃取过程寻求收益瑕大化问题就可以

4、描述为一个离散最 aV优控制问题，即耍确定一组最优控制序列班灯(k = 0,1,., Ml),使性能指标丿 达到最大。(2)离散系统最优控制问题的提法给定离散系统状态方程(5-1-6)(5-1-7)x(七+1)= fx(ku(kk,上=0丄,N-1和初始状态x(0) = x°其中xwRJKQwR”'分别为状态向量和控制向量,/为连续可微的77维函数 向量。性能指标NT丿=Qx(N),N +工厶x(灯山阴(5-1-8)Jt-0离散系统的最优控制问题就是确定最优控制序列u*(0), u*(l),u*(J7-l),使性能指标7达到极小(或极大)值。将最优控制序列"*(0)

5、,沪，沪(Ml) 依次代入状态方程，并利用初始条件x(0) = x0,可以解出垠优状态序列x*(l), x*(2),x*(N),也称为最优轨线。5.2离散Euler方程少连续系统Lagrange间题J = £lx(O,x(OJ对应,相应的离散系统性能指标为64NTNTJ = Y 厶x(Ar),x(Ar + 1),上卜工耳(5-2-1)Aofc=()其中Lk = £x(nx(fr+l)是第上个采样周期内性能指标丿的增量。假定离散性能指标丿存在极小值，则式(521)存在极值解xk)(这里/表示极值解序列)。在x (k), xk+ 1)的邻域内x(k), x(七+1)可表为x(k

6、) = x* (上)+ a8 x(k)x(± + 1) = x讹 + 1)+ a6 x(k + 1)(5-2-2)其中Q为参变暈，$x(幻和5x(1)分别是x(P)和x(Ar+l)的变分，代入丿有NTJ(a) = £ L 卜°(上)+ a/x(r),x°(±+ 1)+ a$x(±+ l),Zr(523)k>由函数极值必耍条件，有=0ao可得NT '£必由丁NTY dx (t+1) 幺尬(七+1)&Lk(上+1) 弧 =0比(上+1)(5-2-4)NQT= yjx出丄逹dx (幻捡+心益(5-2-5)式称

7、为“离散分部积分”,代入(5-2-4)有k=Ni=O(5-2-5)NT 工氐仗)7边x(thx(r + 1)W&(k)+ 8x (Ar)dLx(lc- l),x(Zr),- 1 de(上)|k=N 上o=0(5-2-6)66#djdx(灯的任意性，可得极值的必要条件(5-2-7)0厶x(Ar),x(上 + 1),七0厶x(上一 l),x(±),Ar-1°+&(花)dx7 0厶x(t_l),x(Ar),Ar_l(5-2-8)式(5-2-7)称为离散Euler方程，(5-2-8)则为离散的横截条件。当初态给定 x(0) = x0 ,终态x(N)门由，即5x(N)

8、是任意值时，则有横截条件为x(0) = x°(5-2-9)dv(N)« 迹(N_1),x(N),N_1L0综上所述，离散Lagrange问题(521)的极值若存在，其极值解云伙)必 满足Euler方程(5-2-7)和横截条件(5-2-8)与连续时间变分法一样，也可通过Lagrange乘子法将等式约束下的极值问 题化为无约束的极值问题。例5.1已知离散系统状态方程及边界条件x(t+ 1) = x(k)-¥au(k)(5-2-10)x(0)= l,x(10) = 0(5-2-11)以及性能指标(5212)求使/达极小值的最优控制和最优轨线。 解：应用Lagrange乘

9、子法，构造辅助泛西(5-2-13)J =工/(上)+ 兄(上+ l)x(七)+ au(Ar) x(Ar+ 1)考虑7中,(5-2-14)(5-2-15)(5-2-16)(5-2-17)67(5-2-18)- =。乂(七+1)+花(上) du(lc)如Tdz(Ar)=0(5219)因而可以行出7的Euler方程为久(k + 1) - 2(k) = 0aA(k+ 1) + "(上)=0解这两个差分方程，可得A(k) = C =常数u(k) = -aC宙(5223)及状态方程有x(k+ 1) = x(k)-a2C则有乂=x(0)-a2Cx(2) = x(l)-a2C = x(0) - 2a

10、2Cx(3) = x(2)-a2C = x(0)- 3n2CIIIIx(±) = x(0)- Arn2C由边界条件有x(10)= l-102C = 0可解得0=1/10/则有最优控制/一丄，最优轨线xk) = - 10a10(5-2-20)(5-2-21)(5-2-22)(5-2-23)(5-2-24)5-3离散极大值原理与连续系统相似，离散变分法解最优控制问题多有不便，需考虑离散极大 值原理。68(5-3-1)(5-3-2)(5-3-3)(5-3-4)0 是 x(N)"(幻的连(5-3-5)(5-3-6)(5-3-7)(5-3-8)考虑离散系统状态方程x(r+l) = /

11、x(t)山仇)，幻，上= 0,1, N-1和初始状态x(0) = x0终态应满足的约束条件Wx(N),N = 0和性能指标NTJ =创班“人皿+工口班約山阴其中:x(灯丘用，4(約丘丹。不受约束，/为"维连续可微向量函数, 的连续可微/维向量函数，。是X(M的连续可微标量函数，L为x(k) 续可微标最甫数，要求最优控制序列(灯，Z，Nd,使最小。与连续系统类似，引入Lagrange乘子向暈，和协态变量序列赵)=人(約,")，F, k = 1,2,N使问题转化为求使辅助性能指标<7= Qx(N),N + TWx(N),NNt+ 工Lx(ku(lc) + 力(上 +幻一

12、x(k + 1)1)*r-0达极小值的问题。定义离散Hamilton函数H(k) = Hx(k), A(k + l),u(Ar),Ar|=Lx(ku(kk(h=0,l,Ml)则有N-J = 04x(Nh N + /zT Wx(N),N + 工H(k)-才(七 + 1)x( + 1)Jt=o对上式右边第三项中力伉+1)x(七+1)进行变换(离散分部积分)，得J =(x(N), 27 + /t Wx(N), N-才(N)x(N)NT+ 工H(k) 一 / (Ar)x(Ar) + / (0)x(0)对上式求一阶变分，得+ Y- 2(幼 T &做)+ 严T 脸(幼 + 才(0)&(0)

13、备比(Ar)du(k)(5-3-9)由绘优控制的必耍条件应=0 ,考虑k(0) = 0 , &伉=1,2,N)和&&)(0,1,，N-1)任意,则有UQ -曲_ dLk *如律+1),上-0丄,N 1 金(七)&&) dc(Ar)(5-3-10)°知。叩2( N)-+LLdt(N) &(N)(5-3-11)空血=空+勺；1(上+1) = 0, "0,1,N-1 dii(/c) dti(lc) dii(k-)综上所述，有离散系统极大值原理为：定理51：(5-3-12)设离散状态方程(531),为将系统状态x(k)H初态(5-3-

14、2)转移到满足终 端条件(5-3-3)的某个x(N),并使性能指标(5-3-4)达到极小值的最优控制应 满足的必耍条件是：设沪(灯(Ar=0,Ml)是最优控制,x*(幻(心1,2,N)是对应于沪(k)(k=0, Ml)的最优轨线，则必存在相应协态序列2(灯伉=1,2,N),使状态向量序列 x(幻与协态向量序列久(約满足下列差分方程(也称正则方程，规范方程)组， 即状态方程x(Ar + 1)-豎严 或 x(fc + 1)_ “锹),锹)，幻 0兄(上+ 1)协态方程或 2仇)_ % + dfj比仇)东伙)比伙)其中：(5-3-13)(5-3-14)H(k) =A(k + 1),以上)，幻=厶x(

15、Ar),u(P),上+ 才(上 + Y)fx(lc),u(k),k(2)边界条件为70x(0) = x0Wx(N)N = 071#2(N) =cXD fiv(N) +di/1&(N)#其中/z = /,/z2,-,/z丫(3)离散H函数对最优控制序列八(約达最小値，即(5-3-15) = 0 或-+_-律+1) = 0du(k)du(k) dz(Ar)(5-3-15)式称为控制方程。若边界条件变化，则与连续系统一样有相同结论。上述问题中，当控制序列uH，N1)受到约束时,即u(k) g Q.Ar = 0,，N- 1其中。是巾维实函数空间的闭子集，即QeRm,则与连续系统相同，有相应的极

16、大值原理形式，即上述定理屮(3)不同，为(3，)离散H函数对最优控制序列/(幼达到最小值，即：Hx*(kX(k+u(kk min 丹/(約,才仇+1)山(上),上(5-3-16)离散最优控制的极大值原理在条件为：(i) 离散最优控制问题的状态集为凸集，(ii) 性能指标泛函为凸萌数如果上述条件不能满足，则不能确定极人值I泉理是古是离散最优控制的充分 AND/OR必要条件。5.4连续与离散极大值原理的比较本章讨论的离散系统极大值原理和在第三章讨论的连续系统极大值原理， 棊木原理是相同的，因此我们希啦在解决同一个最优控制问题时应该得到同样 的结果。然而，从连续系统极大值原理出发，以不同的变换途径所

17、得的离散系 统极大值原理在形式上有所不同，解决同一问题所得到的解也会有所不同。如 何避免这种现象产生，通过比较两种不同的离散系统极大值原理获取途径可以 得到解答。下而以Lagrange问题为例，进行比较。在等式约束(5-4-1)和初始状态x(t() =情况下，求性能指标j=r Lix(tu(tydt的极小值问题为j连续的Lagrange问题，有H函数协态方程j(f)=-0Zx(r)H(r),“dr(t)Mt)控制方程oh = 力x(灯,w(r),f * 旷兀(灯，“(£)乂=0 du(t) du(t)ai(F)和边界条件砂=0 用计算机求解此两点边值问题，可用一阶差分來近似班f)和木

18、r), 散的两点边值问题，即有：x(/r + l) = x(Ar)+7yx(ir),u(Ar),ZrA(Ar+l)=4()-TdLx(k),u(k),kdfTx(k).u(k),kTdx(k)dx(k)x(0) = x02(N) = 00厶x(灯山(Ar),幻 | dfTx(kuk = Q&t(k)dii(k)另一种形成离散两点边值问题的途径是应用离散极大值原理,系统状态方程和性能指标离散化为：x(r + 1) = x(Zr)+ 7fx(k),u(k),kx(0) = x(、NTJ = T乞 Lxku(k).kJkO(5-4-2)(5-4-3)(5-4-4)(5-4-5)(5-4-6)

19、(5-4-7)从而产生离(5-4-8)(5-4-9)(5-4-10)(5-4-11)(5-4-12)即先将连续(5-4-13)(5-4-14)(5-4-15)因此，离散H两数为:H(/r) = 72x(的山(切 + T 仇 + l)x(約 + 7/x(約山(切,幻(5-4-16)叫骼響鬥+響曙叫+1）(5417)相应冇协态方程，边界条件，控制方程为75#(5-4-18)dug丁 dZx（幻山（上）,灯| 丁a心）加（上）1( + 1) = 0(5-4-19)2(N) = 0#上述两种离散两点边值问题中，协态方程、控制方程是不同的。对控制方程,若采样周期足够小,则期幻*2（上+1）,两种方法结果

20、近于相 等。对协态方程（5-4-17）求解2（+1）得:律+ 1)=优），以約，切_ T现双上），"伉），幻(5-4-20)#对上式中的逆阵在T的冬值附近展开成丁的Taylor级数八丁0兀（幻川仇） dx（k）厂1 厂2 0【兀（七）山（上）灯丁dx（k）(5-4-21)#将其代入（5420）式，并略公T的拓次项，可得(5422)祕+1）=祕）-T兀凶約山伙）灯_丁旷吨）皿）引祕） dx（k）dx（k）与（549）式完全相同。或可肖.接由（54怡）式右边第二项中上+1）乘入括号后，将旷噴用 赵+ 1）用旷X覚:闪 赵）代替，即得同样结果。dx（lc）ax（k）所以，当T足够小时，两种

21、方法的解本质上相同。虽然都不是连续系统绘 优控制问题的严格最优解，但使两种极小值原理沟通了。5.5离散线性二次型最优状态调节器问与连续系统线性二次型最优状态调节器问题类似，离散系统线性二次型最 优状态调节器具有符合实际应用需求的多种特点，得到广泛重视。下面予以介 绍。给定线性离散系统状态方程(5-5-1)(5-5-2)x(k + 1) = F(k)x(k) + G(k)u(k). Ar=O,l, .Ml初始状态x(0) = x0及二次型性能指标(5-5-3)J =寸(N)乂(N) + ：另x (k)Q(k)xk) + u (切尺上加(約其中s为半止定对称常数阵，6幻为半1E定对称时变阵，尺为正

22、定对称时变阵。 要求最优控制序列/(約后0，N1,使7达最小值。利用离散极大值原理求解：H(lc) = x (k)Q(k)x(k) + u (上)心)+ 兄仇 + 1)F(七)x(/r) + G(3心)(5-5-4)协态方程兄(上)=dx(k)Q(k)x(k) + F (k)A(k + )(5-5-6)因终态无约束，所以A(N)= Sx(N)由控制方程恥歳得)(5-5-7)dH(k)dug= R(k)u(k) + G (上)2(上+ 1) = 0(5-5-8)有u(k) = -R' (k)GT(k)A(k+)代入(5-51)式得两点边值问题x(七 +1) = F(k)x(k)-G(k)

23、Rx (k)GT (k)A(k + )Mk) = Qk)xk) + Ft (k)Ak +1) x(0) = r0入(N) = Sx(N)假设(5-5-9)A(k = P(k)x(k)代入规范方程组(5510)得x(上+ 1) = F(七)x(上)一 Got)/?"(上)G7*(上)P(上+ 1)x(jI + 1)(5-5-10)(5-5-11)(5-5-12)P(k)x(k) = Q(k)x(k) + Ft (k)P(k + 1)x(上 +1)(5-5-13)消去其中x(r+l),得P(k)x(k) = Q(k)x(k) + FT (k)Pk +1)/ + G(k )R (k)G T

24、 (k)P(k +1)F(七)x(灯(5-5-14)此式对任意x（灯成立，因此得离散黎卡提方程：P(k) = Q(k) + F (k)P(k + 1)； + G(k)R'1 (k)G+ 1)F(k)=Q(k) + F (Ar)p-' (k + i) + G(k)R-1 (k)G (Ar)"' F(k)(5-5-15)及其终值条件P(N) = S(5-5-16)若心在（事实上可以放宽，但耍使用动态规划求解），则由协态方程A(k) = P(k)x(k) = Q(k)x(k) + F k)A(k + (5-5-17)有a( + l) = F- (k)P(k)-Q(k

25、)(k)(5-5-18)则最优控制为d（約=-RlG3（灯厂（町P（灯- 0k（灯（幻x(5-5-19)为状态反馈控制，其中K(k) = R'1 (k)GT(k)F(k)P(k)-Q(k)(5-5-20)为反馈增益矩阵。事实上，由r F（k）是状态转移矩阵，所以总是存在，因而状态反馈的闭环系统构成如图5.2所示。u(k)+ x(k+l)x(k)aG(k)rz 7<<1+八F(k)R "伙)GT(k) F t伙)P(ky 0伙)图5.2离散线性二次型最优状态调节器与连续系统二次型最优控制相似，如果Nt叭Fg = F和G （上）二G均为常数矩阵，系统完全可控，则也应有

26、黎卡提方程的解?（当±VVN时）为 常数矩阵。例5.2考虑离散系统状态方程x( + l) = x() + u()和二次熨性能指标J = x2 (k) + u2 (k)Jt-0求使J最小值的最优控制序列u*(r)o解：本例中，状态方程为一阶的,F(幻=1, GU)=1, 40, N=3O Q(k)= R(k)=, 满足正定条件。因此黎卡提方程的解P&)存在，为一维的时变序列。由其边界条件P的二P(3)=*0,黎卡提方程的解P&)可由(5515)式递推求 得。将F(灯=1, G(炉I, 0(炉,R(炉1代入(5-5-15)式有P伙)=1+尸伙+ 1)1+P(上+1)用迭代

27、法递推，可得P(2)=l+ 戶=i+_2_=i1 + P(3)1 + 0P(I) = I+_=1 + 丄山l+P(2)1 + 12P(0)= 1 +P(l)1 + P(1)78#再将F(g, g(灯=1, q約=1,尺(炉i代入(5-5-20)式得m=m-i，因此有83m=5_1=5AT(2)=l-l = 0所以，最优控制序列沪为u*(0) = -|x(0)u(l) = -ix(l)u*(2) = 0此时，由状态方程有2x(l) = x(0) + u*(0)=-x(0)X(2) = x(l) + U 二 *x(l) = yX(0)将x(小沪代入性能指标得最优性能指标为#J' =£x2(切t-o321 9+i/2()| = x2(O) + |-x(O)2)4-|jx(O)2+|- -x(O)r + lx(O)r+O|x2(0)而由公式=x (O)P(O)x(O)同样有J* =-x2(0)5可见计算结果是完全一致的。79