最优控制理论通用课件

《最优控制理论通用课件》由会员分享，可在线阅读，更多相关《最优控制理论通用课件（155页珍藏版）》请在装配图网上搜索。

1、2023年2月21日星期二现代控制理论12023年2月21日星期二2最优控制理论东北大学信息科学与工程学院井元伟教授二九年十一月2023年2月21日星期二3 第2章 求解最优控制的变分方法第3章 最大值原理第4章 动态规划第5章 线性二次型性能指标的最优控制第6章 快速控制系统第1章 最优控制问题最优控制理论 现代控制理论的重要组成部分20世纪50年代 发展形成系统的理论研究的对象 控制系统中心问题 给定一个控制系统，选择控制规律，使系统在某种意义上是最优的统一的、严格的数学方法最优控制问题 研究者的课题，工程师们设计控制系统时的目标最优控制能在各个领域中得到应用，效益显著1.1 两个例子1.

2、2 问题描述第1章 最优控制问题最优控制问题1.1 两个例子 例1.1 飞船软着陆问题 2023年2月21日星期二现代控制理论7最优控制问题1.1 两个例子 例1.1 飞船软着陆问题 m 飞船的质量h 高度v 垂直速度g 月球重力加速度常数M 飞船自身质量F 燃料的质量软着陆过程开始时刻 t 为零 K 为常数 2023年2月21日星期二现代控制理论8最优控制问题1.1 两个例子 例1.1 飞船软着陆问题 hvuvgmmKu m 飞船的质量h 高度v 垂直速度g 月球重力加速度常数M 飞船自身质量F 燃料的质量软着陆过程开始时刻 t 为零 K 为常数 2023年2月21日星期二现代控制理论9最优

3、控制问题1.1 两个例子 例1.1 飞船软着陆问题 hvuvgmmKu m 飞船的质量h 高度v 垂直速度g 月球重力加速度常数M 飞船自身质量F 燃料的质量软着陆过程开始时刻 t 为零 K 为常数 初始状态 0(0)hh0(0)vvFMm)0(2023年2月21日星期二现代控制理论10最优控制问题1.1 两个例子 例1.1 飞船软着陆问题 hvuvgmmKu m 飞船的质量h 高度v 垂直速度g 月球重力加速度常数M 飞船自身质量F 燃料的质量软着陆过程开始时刻 t 为零 K 为常数 初始状态 0(0)hh0(0)vvFMm)0(终点条件 0)(Th0)(Tv2023年2月21日星期二现代控

4、制理论11最优控制问题1.1 两个例子 例1.1 飞船软着陆问题 hvuvgmmKu m 飞船的质量h 高度v 垂直速度g 月球重力加速度常数M 飞船自身质量F 燃料的质量软着陆过程开始时刻 t 为零 K 为常数 初始状态 0(0)hh0(0)vvFMm)0(终点条件 0)(Th0)(Tv)(TmJ 控制目标2023年2月21日星期二现代控制理论12最优控制问题1.1 两个例子 例1.1 飞船软着陆问题 hvuvgmmKu m 飞船的质量h 高度v 垂直速度g 月球重力加速度常数M 飞船自身质量F 燃料的质量软着陆过程开始时刻 t 为零 K 为常数 初始状态 0(0)hh0(0)vvFMm)0

5、(终点条件 0)(Th0)(Tv)(TmJ 控制目标max0()u tu推力方案2023年2月21日星期二现代控制理论13最优控制问题例1.2 导弹发射问题 最优控制问题例1.2 导弹发射问题 2023年2月21日星期二现代控制理论15最优控制问题例1.2 导弹发射问题()cos()()sin()F txtmF tytm2023年2月21日星期二现代控制理论16最优控制问题例1.2 导弹发射问题()cos()()sin()F txtmF tytm初始条件 0)0(x0)0(y0)0(x 0)0(y 2023年2月21日星期二现代控制理论17 最优控制问题例1.2 导弹发射问题()cos()()

6、sin()F txtmF tytm初始条件 末端约束 0)0(x0)0(y0)0(x 0)0(y 12(),(),(),()()0(),(),(),()()0gx Ty Tx Ty Ty Tgx Ty Tx Ty Ty Th2023年2月21日星期二现代控制理论18 最优控制问题例1.2 导弹发射问题()cos()()sin()F txtmF tytm初始条件 末端约束 指标 0)0(x0)0(y0)0(x 0)0(y 12(),(),(),()()0(),(),(),()()0gx Ty Tx Ty Ty Tgx Ty Tx Ty Ty Th(),(),(),()()Jx Ty Tx Ty

7、Tx T2023年2月21日星期二现代控制理论19 最优控制问题例1.2 导弹发射问题()cos()()sin()F txtmF tytm初始条件 末端约束 指标 0)0(x0)0(y0)0(x 0)0(y 12(),(),(),()()0(),(),(),()()0gx Ty Tx Ty Ty Tgx Ty Tx Ty Ty Th(),(),(),()()Jx Ty Tx Ty Tx T)(t控制最优控制问题1.2 问题描述(1)状态方程 一般形式为 2023年2月21日星期二现代控制理论21 最优控制问题1.2 问题描述(1)状态方程 一般形式为 00()(),(),)()|t tx tf

8、 x t u t tx tx2023年2月21日星期二现代控制理论22最优控制问题1.2 问题描述(1)状态方程 一般形式为 00()(),(),)()|t tx tf x t u t tx tx()nx tR为n维状态向量 2023年2月21日星期二现代控制理论23 最优控制问题1.2 问题描述(1)状态方程 一般形式为 00()(),(),)()|t tx tf x t u t tx tx()nx tR()ru tR为n维状态向量 为r 维控制向量 2023年2月21日星期二现代控制理论24最优控制问题1.2 问题描述(1)状态方程 一般形式为 00()(),(),)()|t tx tf

9、x t u t tx tx()nx tR()ru tR),(),(ttutxf为n维状态向量 为r 维控制向量 为n维向量函数 2023年2月21日星期二现代控制理论25 最优控制问题1.2 问题描述(1)状态方程 一般形式为 00()(),(),)()|t tx tf x t u t tx tx()nx tR()ru tR),(),(ttutxf为n维状态向量 为r 维控制向量 为n维向量函数 给定控制规律)(tu2023年2月21日星期二现代控制理论26最优控制问题1.2 问题描述(1)状态方程 一般形式为 00()(),(),)()|t tx tf x t u t tx tx()nx t

10、R()ru tR),(),(ttutxf为n维状态向量 为r 维控制向量 为n维向量函数 给定控制规律)(tu),(),(ttutxf满足一定条件时，方程有唯一解 最优控制问题(2)容许控制 2023年2月21日星期二现代控制理论28最优控制问题(2)容许控制 0)(uGU：2023年2月21日星期二现代控制理论29 最优控制问题(2)容许控制 0)(uGU：Uu2023年2月21日星期二现代控制理论30最优控制问题(2)容许控制 0)(uGU：Uu有时控制域可为超方体 2023年2月21日星期二现代控制理论31 最优控制问题(2)容许控制 0)(uGU：Uu()iiu tm1,2,ir有时控

11、制域可为超方体 最优控制问题(3)目标集 2023年2月21日星期二现代控制理论33最优控制问题(3)目标集 ()(),)0Sx Tx T T2023年2月21日星期二现代控制理论34 最优控制问题(3)目标集 ()(),)0Sx Tx T T(),)x T Tn维向量函数 2023年2月21日星期二现代控制理论35最优控制问题(3)目标集 ()(),)0Sx Tx T T()Tx Tx固定端问题(),)x T Tn维向量函数 2023年2月21日星期二现代控制理论36最优控制问题(3)目标集 ()(),)0Sx Tx T T()Tx TxnSR固定端问题 自由端问题(),)x T Tn维向量

12、函数 最优控制问题(4)性能指标 2023年2月21日星期二现代控制理论38最优控制问题(4)性能指标 0()(),)(),(),)dTtJ ux T TL x t u t tt2023年2月21日星期二现代控制理论39最优控制问题(4)性能指标 0()(),)(),(),)dTtJ ux T TL x t u t tt对状态、控制以及终点状态的要求，复合型性能指标 2023年2月21日星期二现代控制理论40 最优控制问题(4)性能指标 0()(),)(),(),)dTtJ ux T TL x t u t tt对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx2023年2月21日星

13、期二现代控制理论41最优控制问题(4)性能指标 0()(),)(),(),)dTtJ ux T TL x t u t tt对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx积分型性能指标，表示对整个状态和控制过程的要求 2023年2月21日星期二现代控制理论42 最优控制问题(4)性能指标 0()(),)(),(),)dTtJ ux T TL x t u t tt对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx0),(),(ttutxL积分型性能指标，表示对整个状态和控制过程的要求 2023年2月21日星期二现代控制理论43最优控制问题(4)性能指标 0()(),)(

14、),(),)dTtJ ux T TL x t u t tt对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx0),(),(ttutxL积分型性能指标，表示对整个状态和控制过程的要求 终点型指标，表示仅对终点状态的要求 2.1 泛函与变分法基础2.2 欧拉方程2.3 横截条件2.4 含有多个未知函数泛函的极值2.5 条件极值2.6 最优控制问题的变分解法 第2章 求解最优控制的变分方法 求解最优控制的变分方法2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 2023年2月21日星期二现代控制理论46 求解最优控制的变分方法2.1 泛函与变分法基

15、础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 1211()dSx tt2023年2月21日星期二现代控制理论47 求解最优控制的变分方法2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 1211()dSx tt一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为()S x2023年2月21日星期二现代控制理论48 求解最优控制的变分方法2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 1211()dSx tt一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为()S x()S x)(tx称

16、为泛函 称为泛函的宗量 求解最优控制的变分方法泛函与函数的几何解释 2023年2月21日星期二现代控制理论50 求解最优控制的变分方法泛函与函数的几何解释 2023年2月21日星期二现代控制理论51 求解最优控制的变分方法泛函与函数的几何解释()()()x tx tx t宗量的变分 2023年2月21日星期二现代控制理论52 求解最优控制的变分方法泛函与函数的几何解释()()()x tx tx t宗量的变分 泛函的增量()()()(,)(,)J xJ xxJ xL xxr xx2023年2月21日星期二现代控制理论53 求解最优控制的变分方法泛函与函数的几何解释()()()x tx tx t宗

17、量的变分 泛函的增量()()()(,)(,)J xJ xxJ xL xxr xx泛函的变分(,)JL xx2023年2月21日星期二现代控制理论54 求解最优控制的变分方法泛函与函数的几何解释 连续泛函 宗量的变分趋于无穷小时，泛函的变分也趋于无 穷小线性泛函 泛函对宗量是线性的()()()x tx tx t宗量的变分 泛函的增量()()()(,)(,)J xJ xxJ xL xxr xx泛函的变分(,)JL xx 求解最优控制的变分方法定理2.2 若泛函)(xJ有极值，则必有0J00 xxJJ上述方法与结论对多个未知函数的泛数同样适用 求解最优控制的变分方法2.6 最优控制问题的变分解法2.

18、6.4 终值时间自由的问题2.6.3 末端受限问题 2.6.2 固定端问题2.6.1 自由端问题 求解最优控制的变分方法2.6.1 自由端问题约束方程 0),(xtuxf新的泛函 0T()(,)(,)dTtJx TL x u tf x u txtT(,)(,)HL x u tf x u t0T()(,)dTtJx TH xu txt00TTT()(,)dTTttJx TH xu txtxx令有哈米顿函数 求解最优控制的变分方法00TTTTTTTT()()()()()()()()d ()|()()()dTtTTtx TJx TTx Tx THHxux txuHHx Txu txxu (,)()H

19、 xu ttx()()()x TTx T0T()d0TtHJu tu0uH进行变分令有伴随方程 必要条件 求解最优控制的变分方法例2.5)()(tutx00()x tx02211()d22TtJcx Tut哈米顿函数 uutuxfttxLH221),()(),(伴随方程 边界条件()0Htx)()(21)()(2TcxTcxTxT必要条件 0uuH1c()cx Tu 求解最优控制的变分方法)(Tcxu00()()()x tcx T ttx 00()1()xx Tc Tt00()()()cxu tcx Tc Tt 最优控制 代入状态方程并求解令tT 求解最优控制的变分方法2.6.2 固定端问题0

20、0()t tx txTTxtx)(0(,)dTtJL x u tt性能指标 00TTT()dTTttJHxtxx0TT()()dTtHHJxutxu()Htx 0T()d0TtHu tu0uH分部积分进行变分令变分为零 求解最优控制的变分方法边界条件 1(0)1x2(0)1x1(2)0 x2(2)0 x2201d2Jut指标泛函 例2.6 考虑如下系统的终端固定的最优控制问题，求取最优控制 和最优状态曲线，使指标泛函 J 取得极小值。系统的状态方程：12()()x tx t2()()x tu t2023年2月21日星期二现代控制理论63 求解最优控制的变分方法20Huu212uata 12xx

21、212xua ta32112341162xa ta ta ta2212312xa ta ta273)(ttu32117()124x tttt 2237()122x ttt哈米顿函数 212212Huxu伴随方程 11()0Htx 212()()Httx 11()ta212()tata 由状态方程 代入初始和终端条件，可求得123473 1 12aaaa，2023年2月21日星期二现代控制理论64 求解最优控制的变分方法4.考虑如下系统的终端固定的最优控制问题，求取最优控制 和最优状态曲线，使指标泛函J取得极小值。系统的状态方程为：12()()x tx t2()()x tu t其边界条件为：1(

22、0)1x2(0)1x1(1)0 x2(1)0 x1201d2Jut其指标泛函为：2023年2月21日星期二现代控制理论65 求解最优控制的变分方法哈米顿函数 212212Huxu伴随方程 11()0Htx 212()()Httx 11()ta212()tata 20Huu212uata 12xx212xua ta32112341162xa ta ta ta2212312xa ta ta2023年2月21日星期二现代控制理论66 求解最优控制的变分方法32112341162xa ta ta ta2212312xa ta ta3211234110000162xaaaa（）22123100012xa

23、aa（）41a 31a 32112111111 1062xaa （）22121111 102xaa（）12112062aa121102aa 11306a210a 118a 求解最优控制的变分方法2.6.3 末端受限问题()0jgx Tnkj,2,1()0G x T新的泛函 0T()()()dTTtJx Tv G x THxt0TTT0()()()()()()dTtJx TT x TT xHt x tt T()()()x Tx Tv G x T0TTT()()()()dTtHHJTx Txutxxu变分 求解最优控制的变分方法Hx 1()()()()()kjTjjgx Ttvx Tx Tx T0

24、T()d0TtHu tu0uH必要条件Htx)(00()tx tx()Htx()()()Tx Ttx T 求解最优控制的变分方法2.6.4 终值时间自由的问题T 有时是可变的，是指标泛函，选控制使有 T 极小值TT(),)(),)()()()()Tx T Tx T TJx TTHxTx TT0TTT()()dtHHxux txu TT(),)(),)()()()()Tx T Tx T Tx TTHxTx TT0TT()|()()dTTtHHxxutxu 变分 求解最优控制的变分方法()()TTTTx TxxTxx TxTT(),)(),)()()()()()x T Tx T TJTx TTH

25、TTx TT0TT()()d0TtHHxutxuHx(),)()()x T TTx T0(),)()Hux T TH TT 必要条件 求解最优控制的变分方法例2.7)()(tutx1)0(x220()(1)dTJsx Tut指标泛函 哈米顿函数 uuH21伴随方程 0Hx(),)()2()()x T TTsx Tx T02uuH必要条件 0)(1)(2TTuuTH)()(Tsxtu1()1u tss sT11 3.1 古典变分法的局限性3.2 最大值原理3.3 变分法与极大值原理第3章 最大值原理 最大值原理3.1 古典变分法的局限性u(t)受限的例子 例3.1)()()(tutxtx1)0(

26、x1)(tu10()dJx tt()()()()Hx ttx tu t1)()(txHt0)1(0)(tuH伴随方程 极值必要条件 矛盾!最大值原理3.2 最大值原理定理3.1(最小值原理)设为 容许控制，为对应的积分轨线，为使 为最优控制，为最优轨线，必存在一向量函数 ，使得 和 满足正则方程)(tu()x t)(tu()x t)(t()x t)(t()Hx t()Htx 且 min(),(),(),)(),(),(),)u UH x tt u t tH x tt u t t 最大值原理最小值原理只是最优控制所满足的必要条件。但对于线性系统()()()()()x tA t x tB t u

27、t1111()()()()()nnnnatatA tatat1()()()nb tB tb t最小值原理也是使泛函取最小值得充分条件。最大值原理例3.2 重解例3.1 哈密顿函数()()()()(1)()()Hx ttx tu tx tu t伴随方程 1)()(txHt0)1(由极值必要条件，知 1sign1u 0001)(1tet01t 又于是有1)(tu 最大值原理1)()(txtx 1)0(x12)(tetx110d21Jxte)(tu协态变量与控制变量的关系图 最大值原理例3.3)()()(tutxtx1)0(x1)(tu101()d2Jxut性能指标泛函 哈密顿函数 11()(1)(

28、)22Hxuxuxu 伴随方程 1)(xHt0)1(1()(1)tte 1sign()2u 10ln2()1ln12etu tet 最大值原理10ln21ln12extxxuext 2ln,0e上有 12)(tetx1xx 14)2(ln1eex1)2()(teetx 最大值原理210ln2()(2)1ln12tteetx tee et 协态变量与控制变量的关系图 整个最优轨线 最大值原理例3.4 12122,(0)0,(0)0 xxxxux1u把系统状态在终点时刻转移到(121)()4x Tx T性能指标泛函 20dTJut终点时刻是不固定的 哈米顿函数 2122Huxu伴随方程 11212

29、0HxHx 1a2bat 最大值原理H是u的二次抛物线函数，u在 上一定使H有最小值，可能在内部，也可能在边界上。11u最优控制可能且只能取三个值 220Huu211()22ubat 1u1u此二者都不能使状态变量同时满足初始条件和终点条件 231221 11()()2 2611()()22x tbtatx tbtat 231221 111()()2 264111()()224x TbTaTx TbTaT 最大值原理2122T222()()|11 ()()()0442H TuxuabaTbaTabaT0b91a3T18)(ttu31()108tx t36)(22ttx361J最优控制 最优轨线

30、 最优性能指标 最大值原理例3.5 12xx2xu1(0)0 x2(0)2x1)(tu使系统以最短时间从给定初态转移到零态 1()0 x T 2()0 x T 01dTJTtuxH2211哈米顿函数 伴随方程 110Hx 212Hx 1()ta2()tbat2signsign()ubat 最大值原理最优控制切换及最优轨线示意图 最大值原理3.3 古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件min(,)u UH xu t就等价于条件0uH4.1 多级决策过程与最优性原理4.2 离散系统动态规划4.3 连续系统动态规划4.4 动态规划与最

31、大值原理的关系第4章 动态规划 动态规划动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。动态规划4.1 多级决策过程与最优性原理作为例子，首先分析最优路径问题(a)(b)(c)试分析(a),(b)和(c)三种情况的最优路径，即从 走到 所需时间最少。规定沿水平方向只能前进不能后退。0 xTx 动态规划(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可

32、到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。动态规划逆向分级计算法 逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。以(c)为例 从倒数第一级开始，状态有两个，分别为 51x和52x在51x处，只有一条路到达终点，其时间是3；在 处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在 点上。52x52x并将此点到终点的最优路径画上箭头。动态规划然后再考虑第二级 41x只有一种选择，到终点所需时间是 63942x有两条路，比较后选出时间最少的一条

33、，即4+1=5。用箭头标出 43x也标出最优路径和时间 依此类推，最后计算初始位置 求得最优路径 101222324252Tx x x x x x x最短时间为 13动态规划最优路径示意图 2023年2月21日星期二现代控制理论94动态规划5.利用逆向分级计算法求解如下的最优路径问题 从倒数第一级开始，状态有两个，分别为 31x和32x在31x处，只有一条路到达终点，其时间是4；在 处，也只有一条，时间为3。后一条时间最短，将此时间相应地标在 点上。32x32x并将此点到终点的最优路径画上箭头。2023年2月21日星期二现代控制理论95 动态规划然后再考虑第二级，亦即倒数第二级 21x只有一种

34、选择，到终点所需时间是 24622x有两条路，比较后选出时间最少的一条，即2+4=6。用箭头标出 23x也标出最优路径和时间 3+3=6 2023年2月21日星期二现代控制理论96 动态规划然后再考虑第一级，亦即倒数第三级 11x有两种选择，到终点所需时间是分别是，保留前者 3249（）12x有两条路，比较后选出时间最少的一条，即 2+(2+4)=8 和 2+(3+3)=8。用箭头标出。42410（）2023年2月21日星期二现代控制理论97 动态规划最后再考虑第一级，亦即倒数第四级 0 x有两种选择，到终点所需时间是分别是 132410（）或 2+(2+3+3)=10。于是，最短路经有3条，

35、时间为10。222410（）求得最优路径 011213101222310122332,TTTx x x x xx x x x xx x x x x 动态规划多级过程 1(),0,1kkxf xkN多级决策过程 1(,),0,1kkkxf x ukN目标函数 011011(,;,)NNJJ x xxu uu控制目的 选择决策序列 011,Nu uu使目标函数取最小值或最大值 实际上就是离散状态的最优控制问题 动态规划最优性原理 在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。动态规划指标

36、函数多是各级指标之和，即具有可加性 10(,)NkkkJL x u最优性原理的数学表达式 0101101*0,0100,1*001()opt(,)opt(,)opt(,)opt(,)()NNNkkuukNkkuuukuJxL x uL x uL x uL x uJx 动态规划4.2 离散系统动态规划n阶离散系统 1(,),0,1kkkxf x ukN性能指标 10(,)NkkkJL x u求决策向量 01,Nuu使 有最小值（或最大值），其终点可自由，也可固定或受约束。J 动态规划引进记号 11*,()()min(,)kNNkkiiuui kV xJxL x u应用最优性原理 00001()m

37、in(,)()uV xL x uV x可建立如下递推公式 11111()min(,)()min(,)(,)()min(,)kkNkkkkkkkkuuNNNuV xL x uV xL x uV f x uV xL xu贝尔曼动态规划方程 动态规划例4.2 设一阶离散系统，状态方程和初始条件为100,kkkkkxxuxx性能指标 12220()NNkkkJxxu求使 有最小值的最优决策序列和最优轨线序列 J指标可写为 22222001111()Jxuxuxu 动态规划11111()22()0J xuxuu1112ux*2222311111111222()()()Jxxxxxx 代入 1()J x2

38、2*000122222233001000022()()()J xxuJxxuxxuxu上一级00000()23()0J xuxuu3005ux*28005()Jxx 动态规划代入状态方程 0u3210000055xxuxxx*1111025uxx 121105xxux最优决策序列 最优轨线*3005ux*1105ux 0 x2105xx1205xx 动态规划4.3 连续系统的动态规划00(,),()xf x u tx tx()u tU性能指标()(,)dTtJx TL x u tt目标集|()0Ssx T引进记号*()(,)(),()min(),()u tUV x tJ x t u tJ x

39、t u t根据最优性原理及()(),)min(),(),)d(),)Tu tUttV x tt ttL x t u t ttx T T 动态规划()()()()(),)min(),)(),(),)d)min(),(),)d(),(),)d(),)min(),(),)dmin(),(),)d(),)minTu tUtttTu tUtttttu tUtTu tUttuV x t tx T TL x t u t ttL x t u t ttL x t u t ttx T TL x t u t ttL x t u t ttx T T()(),(),)d)(),)tttUtL x t u t ttV x

40、 tt tt 动态规划由泰勒公式，得 T2d(),)(),)()()dVxVV x tt ttV x t tttotxtt 由中值定理，得(),(),)d(),(),)tttL x t u t ttL x tt u tt ttt ()T2(),)min(),(),)d (),)()()du tUV x t tL x tt u tt tttVxVV x t tttotxtt 动态规划2T()d()min(),(),)()du tUVVxotL x tt u tt tttxtt T()(,)min(,)()(,)u tUVV x tL x u tf x u ttx 0t 连续型动态规划方程 实际上

41、它不是一个偏微分方程，而是一个函数方程和偏微分方程的混合方程 动态规划(,)Vu xtt满足连续型动态规划方程，有 设T(,)()(,)VVL x u tf x u ttt 边界条件(),)(),)V x T Tx T T动态规划 动态规划方程是最优控制函数满足的充分条件；解一个偏微分方程；可直接得出综合函数 ；动态规划要求 有连续偏导数最大值原理 最大值原理是最优控制函数满足的必要条件；解一个常微分方程组；最大值原理则只求得 。(,)u x t()u t(,)V x t 动态规划例4.3 一阶系统()()x tu t00()x tx0221122()dTtJcx Tut性能指标 动态规划方程

42、 T212()()min(,)()(,)min()u tu tVVVL x u tf x u tuuttt 右端对u求导数，令其导数为零，则得 Vut 212()VVtt212(,)()()V x tp t x t2()(),()p tp tp Tc()1()cp tc Tt21(,)21()cxV x tc Tt*1()Vcutc Tt 动态规划4.4 动态规划与最大值原理的关系变分法、最大值原理和动态规划都是研究最优控制问题的求解方法，很容易想到，若用三者研究同一个问题，应该得到相同的结论。因此三者应该存在着内在联系。变分法和最大值原理之间的关系前面已说明，下面将分析动态规划和最大值原理的

43、关系。可以证明，在一定条件下，从动态规划方程能求最大值原理的方程。动态规划T()min(,)()(,)u tVVL x u tf x u ttt 动态规划方程 T()min(,)(,)u tVL x u tf x u tt()Vtx令哈米顿函数 最大值原理的必要条件 5.1 问题提出5.2 状态调节器5.3 输出调节器5.4 跟踪问题5.5 利用Matlab求解最优控制第5章 线性二次型性能指标的最优控制 线性二次型性能指标的最优控制用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制。当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问

44、题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工程实际中又容易实现，因而在工程中有着广泛的应用。线性二次型性能指标的最优控制5.1 问题提法动态方程()()()()()x tA t x tB t u t()()()y tC t x t指标泛函 0TTT11()()()()()()()()d22TtJxT Sx Txt Q t x tut R t u tt求(,)u x t使之有最小值(,)u x t此问题称线性二次型性能指标的

45、最优控制问题通常称为综合控制函数线性二次型性能指标的最优控制指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项 过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。线性二次型性能指标的最优控制5.2 状态调节器5.2.1 末端自由问题5.2.2 固定端问题5.2.3 T

46、 的情况状态调节器选择 或 使系统性能指标有最小值()u t(,)u x t 线性二次型性能指标的最优控制5.2.1 末端自由问题构造哈密顿函数 TTTT1122()()()()Hx Q t xu R t uA t xB t u伴随方程及边界条件 T()()()()HtAtQ t x tx ()()TSx T最优控制应满足 TT()()()0HRt u tBtu*1T()()()()u tRt Btt 代入正则方程 线性二次型性能指标的最优控制1T00()()()()()()(),()x tA t x tB t Rt Bttx txT()()()()(),()()tAttQ t x tTSx

47、T()()()tP t x t1T1T()()()()()()()()()()()()()()()()()()()()()()()tP t x tP t x tP t x tP tA t x tB t Rt BttP tP t A tP t B t Rt Bt P tx t求导 TT()()()()()()()()()tQ t x tAttQ tAt P tx t T1T()()()()()()()()()()()()()Q tAt P tx tP tP t A tP t B t Rt Bt P tx t 线性二次型性能指标的最优控制T1T()()()()()()()()()()()0P tP

48、 t A tAt P tP t B t Rt Bt P tQ t（矩阵黎卡提微分方程）边界条件()P TS最优控制*1T(,)()()()ux tRt Bt P t x 1T()()()()K tRt Bt P t*(,)()ux tK t x 令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制()P t对称半正定阵 线性二次型性能指标的最优控制例5.1,(0)1xaxux02221122()()()dTtJsx Tqx tru tt性能指标泛函*1()up t xr 最优控制 黎卡提微分方程 21()2()(),()p tap tp tqp Tsr()()2dd12p T

49、Tp ttppapqr2()2()/()()/()/1/b t Tb t Ts res rp trs res r2qar 线性二次型性能指标的最优控制最优轨线的微分方程 1()()(),(0)1x tap t x txr0()/)d()tap trx te解 最优轨线 最优控制 1a 0s 1T 1q 线性二次型性能指标的最优控制黎卡提方程的解 随终点时间变化的黎卡提方程的解 2lim(,)Tqp t Tarrar线性二次型性能指标的最优控制5.2.2 固定端问题0TT()()()()()()dTtJxt Q t x tut R t u tt指标泛函（设）()0 x T 采用“补偿函数”法 0

50、TTT11()()()()()()()()d22TtJxT Sx Txt Q t x tut R t u tt补偿函数 惩罚函数()P TS边界条件 黎卡提方程 逆黎卡提方程 线性二次型性能指标的最优控制1()()P t PtI11()()()()0P t PtP t Pt求导 1111T1T11()()()()()()()()()()()()()0Pt P t PtA t PtPt AtB t Rt BtPt Q t Pt黎卡提方程1()Pt乘以111T1T11()()()()()()()()()()()0PtA t PtPt AtB t Rt BtPt Q t Pt逆黎卡提方程 1()Pt

51、()P t解 逆 线性二次型性能指标的最优控制5.2.3 T 的情况0TT12()()()()()()dtJxt Q t x tut R t u tt性能指标 无限长时间调节器问题 黎卡提方程(,)P t T(,)0P T T 边界条件 最优控制*1T(,)()()()ux tRt Bt P t x 最优指标*T10002()()()Jxt P tx t 线性二次型性能指标的最优控制5.2.4 定常系统xAxBu0TT1()()()()d2TtJxt Qx tut Ru ttT1T0PAA PPBR B PQ*1T(,)()ux tR Bt Px*T1002()()Jxt Px t完全可控 指

52、标泛函 矩阵代数方程 最优控制 最优指标 线性二次型性能指标的最优控制例5.2 102,(0)xxuxx 22211220()(2)d,0TJsx Txuts*1T()()uBR B P t xp t x 黎卡提方程 22,()pppp Ts1()0.5 1.5th(1.5)p tt 2()0.5 1.5cth(1.5)p tt 线性二次型性能指标的最优控制5.3 输出调节器0TTT11()()()()()()()()d22TtJyT Sy Tyt Q t y tut R t u tt指标泛函 输出调节器问题0TTT1111()()()()()()()()()d22TtJxT S T x Tx

53、t Q t x tut R t u ttT1()()()()Q tCt Q t C tT1()()SCT SC T状态调节器问题 令线性二次型性能指标的最优控制5.4 跟踪问题问题的提法)(t已知的理想输出)()()(ttyte偏差量 指标泛函 0TTT11()()()()()()()()d22TtJe T Se Tet Q t e tut R t u tt寻求控制规律使性能指标有极小值。物理意义 在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。线性二次型性能指标的最优控制指标泛函 00TTTTTT1()()()()21 ()()()()()()()()d21 ()()()()

54、()()21 ()()()()()()()()()()d2TtTtJy TTS y TTy ttQ ty ttut R t u ttC T x TTS C T x TTC t x ttQ t C t x ttut R t u tt哈密顿函数 TTT1()()()()()()()()()()2 ()()()()()HC t x ttQ t C t x ttut R t u ttA t x tB t u t2023年2月21日星期二现代控制理论133 线性二次型性能指标的最优控制T()()()()0HR t u tBttu*1T()()()uRt Btt 0)(22tRuH1T()()()()()

55、()()x tA t x tB t Rt BttTTT()()()()()()()()()()tCt Q t C t x tAttCt Q tt xtx)(0TT()()()()()()TCT SC T x TCT ST)()()()(ttxtPt设并微分2023年2月21日星期二现代控制理论134 线性二次型性能指标的最优控制1T1T()()()()()()()()()()()()()()()()()()()()()tP t x tP t x ttP t x tP t A tP t B t Rt Bt P tP t B t Rt BtttT1TTT()()()()()()()()()()()

56、()0P tP t A tAt P tP t B t Rt Bt PCt Q t C t)(tx的任意性 T1TT()()()()()()()()()()0tAtP t B t Rt BttCt Q ttT()()()P TCT S TT()()()TCT ST*1T1T()()()()()()uRt Bt P t xRt Btt 最优控制 2023年2月21日星期二现代控制理论135 线性二次型性能指标的最优控制最优轨线方程 1T1T()()()()()()()()()()()x tA tB t Rt Bt P tx tB t Rt Btt最优性能指标*TT0000001()()()()()

57、()2Jxtp tx ttx ttTT1T1()()()()()()()()2tt Q ttt B t R Btt T()()()()TT P TT2023年2月21日星期二现代控制理论136 线性二次型性能指标的最优控制例5.3 0 100 01xxu 1020(0)xxx1121,0 xyxx性能指标 2201()d2Jyut1223121212122323232312230 10 0010,11,000 01 010()()0 0 ()()0 0ppppppppppppppppppppp Tp Tp Tp T 2023年2月21日星期二现代控制理论137 线性二次型性能指标的最优控制21

58、2121232232331,()0,()02,()0ppp Tppp pp Tpppp T 1232,1,2pppT12120010pp a()0tT22123()()0,()()0t pttt p212()()0,()2()0tttt2a*122uxxa 最优控制 2023年2月21日星期二现代控制理论138线性二次型性能指标的最优控制tet1)(12()()tt0)(1T212()()2tt，0)(2TT 21()122tte texxu2211221*最优控制 极限解 2023年2月21日星期二现代控制理论139 线性二次型性能指标的最优控制1121(1)0.72222ttteee闭环控

59、制系统结构 2023年2月21日星期二现代控制理论140 快速控制系统6.1 快速控制问题6.2 综合问题第6章 快速控制系统2023年2月21日星期二现代控制理论141 快速控制系统在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。2023年2月21日星期二现代控制理论142 快速控制系统6.1 快速控制问题00()()(),()x tAx tBu tx tx()1,1,2,iu tir01dTtJt性能指标 时间上限T是可变的 从状态0 x转移平衡状态0)

60、(Tx所需时间最短 构造哈密顿函数 TT1HAxBu TT11riiiHAxbu 12,Bb bb*T1sign,1,2,ubir 最小值原理*TsignuB 分段常值函数 2023年2月21日星期二现代控制理论143 快速控制系统例6.1 有一单位质点，在 处以初速度2沿直线运动。现施加一力 ，使质点尽快返回原点，并停留在原点上。力 简称为控制。若其它阻力不计，试求此控制力。1)0(x()u t()1u t()u t质点运动方程 状态方程 xu12122()(),(0)1,()(),(0)2.x tx txx tu txuxH2211哈密顿函数 121()0,()()ttt 伴随方程 212

61、1)(,)(CtCtCt2023年2月21日星期二现代控制理论144 快速控制系统*2sign()ut 最优控制 协态变量与控制函数4种情况示意图 2023年2月21日星期二现代控制理论145 快速控制系统相轨线族示意图 021221xxx开关曲线 2023年2月21日星期二现代控制理论146 快速控制系统开关曲线(0)1,2TxR初始状态 最优控制 1u 状态方程 12122()(),(0)1,()1,(0)2,x tx txx tx3)2(21)(21ttx2)(2 ttx321221xx相轨线 322T总时间*1023()12322 3tu tt 最优控制 2023年2月21日星期二现代

62、控制理论147 快速控制系统6.2 综合问题 综合是将最优控制函数表示为状态和时间的函数即),(*txu*12211(,)sign()21xux txx xxx 上例之最优综合控制函数 2023年2月21日星期二现代控制理论148 快速控制系统例6.2 1122010101xxuxx 1u求快速返回原点的开关曲线和最优综合控制函数 构造哈密顿函数)(12221uxxH伴随方程 122112()(),()()HHttttxx )sin()(2tAt*2sign()sign sin()utAt 最优控制 2023年2月21日星期二现代控制理论149 快速控制系统最优控制与协态变量的变化情况 控制是

63、“砰砰控制”，除了首尾之外，在和上的停留时间均为 112023年2月21日星期二现代控制理论150 快速控制系统备选最优轨线族 12211dxxdxx22221)1(Cxx两族同心圆方程 2023年2月21日星期二现代控制理论151 快速控制系统Cxxxxdtdsv22212221)1(相点沿轨线顺时针方向运动，其速度为开关曲线 2023年2月21日星期二现代控制理论152 快速控制系统第二段开关曲线 2023年2月21日星期二现代控制理论153 快速控制系统整个开关曲线 2023年2月21日星期二现代控制理论154快速控制系统*12121(,)1(,)TTx xRux xR最优综合控制函数 2023年2月21日星期二现代控制理论155 最优控制理论 上世纪50年代初 问题比较简单 二阶定常系统 方法比较特殊 借助于几何图形 动态系统的最优化问题乃是一个变分问题 变分法 开集 最优控制问题 闭集 发展变分法