吴受章最优控制讲授提纲

《吴受章最优控制讲授提纲》由会员分享，可在线阅读，更多相关《吴受章最优控制讲授提纲（92页珍藏版）》请在装配图网上搜索。

1、最优控制讲授提纲*配合教材：最优控制理论与应用吴受章编著机械工业出版社 2008年1使用说明u讲课开始时，学生需人手一册教材，已可开讲。讲授提纲用幻灯片放映，仅起画龙点睛作用（若无幻灯片放映，可用板书代之）。关键是：任课教师是否习惯此种讲课方式。实践表明：学生的收效却更好。u任课教师都有自己的习惯、风格，都喜爱自己的讲稿，因此，只适宜于列出讲授提纲供参考，逐次的讲稿宜自己用PowerPoint编写。此时，教材和讲授提纲可供参照，并亦可各自按需补充些内容。此外，讲课进度的安排也因人而异，有40学时全讲课的，有压縮课时并添加大作业的，有写读文献的报告的，故不宜编写划一的讲稿（写了也是白写）。2绪论

2、n从经典的反馈控制到最优控制l从特点看控制器设计经历的“改朝换代”3特 点经典反馈控制 最优控制u上世纪40-50年代起的炮火控制uSISO，输入输出描写u低阶传递函数u应无未建模动态u手算，作图，憑经验u不计控制能耗u模拟器件实现u军工及民用工业u上世纪60年代起延伸至今的航空航天uMIMO，内部描写u低阶状态方程u应无未建模动态u计算机，优化，算法u考虑控制能耗u数字器件实现u航空航天工业4第1章 变分法n引言l变分问题求解的两条路变分问题求解的两条路l本章的重要性本章的重要性5n泛函l 定义定义 1 1-1 1（泛函）（泛函）图图 1-11-1 弧长弧长 ，目标泛函，目标泛函l 定义定义

3、 1 1-2 2（函数空间中的距离）（函数空间中的距离）图图 1-21-2曲线间的距离曲线间的距离l 定义定义 1 1-3 3（n n级级 邻区和泛函的局部极值）邻区和泛函的局部极值）图图 1-31-3 泛函求局部极值泛函求局部极值l 定义定义 1 1-4 4（泛函的全局极值）（泛函的全局极值）6n变分的推演l泛函求极值泛函求极值从式从式（1-11-1）推导推导式式（1-61-6）的过程：的过程：写出目标值的差，式写出目标值的差，式（1-21-2）用导数中值定理，得式用导数中值定理，得式（1-51-5）式式（1-51-5）的第二项为高阶无穷小的第二项为高阶无穷小改用变分记号，式改用变分记号，式

4、（1-61-6）7（续）变分的推演l定义定义 1 1-7-7（泛函的二次变分）（泛函的二次变分）式式（1-101-10）泛函的高次变分，式泛函的高次变分，式（1-111-11）l泛函极值存在的必要条件，式泛函极值存在的必要条件，式（1-121-12）l泛函局部极大值存在的充分条件，式泛函局部极大值存在的充分条件，式（1-131-13）l泛函局部极小值存在的充分条件，式泛函局部极小值存在的充分条件，式（1-141-14）9n Euler方程和横截条件l泛函求极值泛函求极值从式从式（1-161-16）推导式推导式（1-211-21）的过程：的过程：用分部积分得式用分部积分得式（1-181-18）用

5、推论用推论1 1-1 1得式得式（1-191-19）及式及式（1-201-20）用推论用推论1 1-2 2得式得式（1-211-21）lTPBVPTPBVP（两点（两点边值问题边值问题）例例1-31-310n向量情况l泛函求极值泛函求极值 从式从式（1-251-25）推导式推导式（1-321-32）的过程：的过程：成对应用式成对应用式（1-181-18），），得式得式（1-261-26）分类及合并，得式分类及合并，得式（1-21-27 7）仿式仿式（1-211-21）及式及式（1-231-23），），得式得式（1-301-30）及式及式（1-311-31）向量形式，式向量形式，式（1-321-

6、32）11n有约束的情况 l函数的函数的约约束束优优化与化与LagrangeLagrange乘子乘子 式式（1-331-33）化化为为无无约约束束优优化，式化，式（1-341-34）两个默两个默认认的特点的特点l函数的向量函数的向量约约束束优优化与化与LagrangeLagrange 乘子向量乘子向量 式式（1-351-35）12（续）有约束的情况 化化为为无无约约束束优优化，化，式式（1-371-37）两个默两个默认认的特点的特点l泛函的泛函的约约束束优优化化约约束方程束方程变变量多、方程少量多、方程少化化为为无无约约束束优优化化l定理定理1-11-1的叙述：的叙述：式式（1-391-39）

7、与式与式（1-401-40）等价等价 13（续）有约束的情况 l定理定理1-11-1的的证证明明过过程：程：为为何要分两步走何要分两步走第第1 1步步证证明明式式（1-401-40）改写改写为为式式（1-421-42）泛函极泛函极值值存在的必要条件，式存在的必要条件，式（1-431-43）结结合合约约束方程求解，束方程求解，结结果果满满足足约约束方程，束方程，式式（1-401-40）的解即的解即为为式式（1-391-39）的解）的解第第2 2步步证证明明14（续）有约束的情况 式式（1-391-39）的构成：式的构成：式（1-251-25）及及约约束方程束方程式式（1-251-25）所示泛函极

8、所示泛函极值值存在的必要条件，存在的必要条件，式式（1-441-44）对约对约束方程取一次束方程取一次变变分，式分，式（1-451-45）即式（即式（1-1-4646）构造式构造式（1-491-49）式式（1-441-44）的第一式与式的第一式与式（1-491-49）合成，得式合成，得式（1-511-51）用用约约束方程和式束方程和式（1-511-51），），构造式构造式（1-521-52）15（续）有约束的情况 式式（1-531-53）与式）与式（1-521-52）的差的差别别，得式，得式 （1-551-55）及式及式（1-561-56），式），式（1-391-39）的的 解即解即为为式式（

9、1-401-40）的解的解两步两步证证明的完成，才明的完成，才说说明式明式（1-391-39）与与 式式（1-401-40）完全等价完全等价l定理定理1-11-1推广到微分系推广到微分系统统16n 端点可变的情况l两端可两端可变变可化可化为为一端可一端可变变，终终端可端可变变l目目标值标值的差推演得式的差推演得式（1-611-61）利用利用积积分中分中值值定理及式定理及式（1-61-6），），式式 （1-181-18）由式由式（1-611-61）得式得式（1-621-62）l图图1-41-4与式与式（1-631-63）l从式从式（1-641-64）得式得式（1-651-65）l推广到式推广到式

10、（1-671-67）17n 变分的另一种定义l定定义义1-81-8（函数的一次（函数的一次变变分）分）l定定义义1-91-9（泛函的一次（泛函的一次变变分）分）式式（1-691-69）l对对 求导求导,得得J J的的一次一次变变分，式分，式（1-711-71）l式（式（1-721-72）同式）同式（1-91-9）18n 变分与Frchet微分l定定义义1-101-10（FrchetFrchet微分）微分）线线性逼近的性逼近的误误差差，式式（1-741-74）对对照照 图图1-51-5及式（及式（1-751-75）规规定了定了线线性逼近方式性逼近方式lFrchetFrchet微分，式微分，式（1

11、-761-76）l计计算算FrchetFrchet微分的方法，式微分的方法，式（1-771-77）l泛函的一次泛函的一次变变分即分即FrchetFrchet微分，微分，对对照照 式式（1-781-78），），式式（1-791-79）19n 小结l泛函求极泛函求极值值变变分分常微分方程常微分方程 的的TPBVPTPBVPl本章本章仅为寻仅为寻求求极极值值曲曲线线，并未涉，并未涉 及及寻寻求求极极值值曲面曲面l变变分法的分法的现现代代进进展展为变为变分原理（分原理（不是第不是第5 5章的最大章的最大值值原理）原理）20第2章 连续系统最优控制n引言 l了解受控了解受控对对象象建模建模提出概念性目提

12、出概念性目标标 优优化化问题问题提法提法 式式（2-12-1）BolzaBolza问题问题，LagrangeLagrange问题问题，MayerMayer问题问题l折衷折衷优优化化l如何套用第如何套用第1 1章公式章公式21n 时间端点固定的情况 l式式（2-22-2）的背景的背景l化化为为无无约约束束优优化化问题问题 式式（2-32-3），），HamiltonHamilton函数函数l式式（2-32-3）取一次取一次变变分，分两部分分，分两部分 式式（2-72-7）由式（由式（2-42-4）及式）及式（2-62-6）组组成成l横截条件，伴随方程，耦合方程，状横截条件，伴随方程，耦合方程，状态

13、态方方 程，式程，式（2-102-10）22（续）时间端点固定的情况 l沿最沿最优轨线优轨线H H为为常量的条件常量的条件l横截条件三种情况横截条件三种情况lTPBVPTPBVPl例例2-12-1，例，例2-22-2，例，例2-32-3，例例2-42-423n 有终端函数约束的情况 l式式（2-602-60）的背景的背景l化化为为无无约约束束优优化化问题问题，式式（2-612-61）l式式（2-612-61）取一次取一次变变分，式（分，式（2-632-63）l横截条件，伴随方程，耦合方程，横截条件，伴随方程，耦合方程，状状态态方程，方程，终终端函数，端函数，式式（2-672-67）l例例2-5

14、2-524n 终时不指定的情况l式式（2-782-78）的背景的背景l化化为为无无约约束束优优化化问题问题，式，式（2-792-79）l式式（2-792-79）取一次取一次变变分，分三部分分，分三部分l式式（2-842-84）由式由式（2-80)2-80)，式，式（2-2-81)81)及式及式（2-832-83）组组成成l横截条件，伴随方程，耦合方程，横截条件，伴随方程，耦合方程，状状态态方程，方程，终终端函数，端函数，式式（2-882-88）l例例2-62-625n考虑其它几种约束l积积分分约约束化束化为为微商微商约约束和束和终态约终态约束束l状状态态和控制的等式和控制的等式约约束束l状状态

15、态和控制的不等式和控制的不等式约约束用松弛束用松弛变变量量 化化为为状状态态和控制的等式和控制的等式约约束束l角隅条件，式角隅条件，式（2-1202-120）26n用符号数学工具箱 求TPBVP的解析解l见程序集27n 小结lTPBVP的解析解的解析解l多多谢谢MATLABMATLAB的的符号数学工具箱，它符号数学工具箱，它 改改变变了求取了求取TPBVPTPBVP的解析解的面貌的解析解的面貌l要关注符号要关注符号计计算算的的进进展（包括新版本展（包括新版本MATLABMATLAB中的中的符号数学工具箱符号数学工具箱）l确定性最确定性最优优控制开控制开环环与与闭环闭环不分不分28第3章 线性连

16、续系统的 二次型调节器n引言l优优化化问题问题提法，提法，式式（3-13-1）l物理意物理意义义l重重视视LQRLQR的原因的原因29n有限时间（状态）调节器l时变情况时变情况式式（3-13-1）化化为为无无约约束束优优化化问题问题泛函极泛函极值值存在的必要条件：存在的必要条件：横截条件，伴随横截条件，伴随 方程，耦合方程，状方程，耦合方程，状态态方程方程TPBVPTPBVP,式式（3-63-6）HamiltonHamilton矩矩阵阵(t)(t)式式（3-73-7）式式（3-123-12）矩矩阵阵RiccatiRiccati微分方程，式微分方程，式（3-173-17）30全状全状态态反反馈馈

17、，KalmanKalman增益，增益，式式（3-193-19）P(t)P(t)的的性性质质对对称，半正定称，半正定P(t)P(t)的的计计算算，EulerEuler法法最最优优反反馈馈控制的控制的结结构，构，图图3-13-1x(t)x(t)的重构，的重构，图图3-23-2对对加加权权矩矩阵阵的要求的要求31（续）有限时间（状态）调节器（续）有限时间（状态）调节器l非时变情况非时变情况式式（3-13-1）式式(3-1)(3-1)式（式（3-173-17）式式(3-17)(3-17)式（式（3-183-18）式式(3-18)(3-18)式（式（3-193-19）式式(3-19)(3-19)P(t)

18、P(t)的解析解，式的解析解，式（3-283-28），），几种解法几种解法例例3-13-1，例，例3-23-2观观察察终时终时t tf f对对KalmanKalman增益增益K(t)K(t)的影响的影响 见见程序集和程序集和图图3-33-3 32（续）有限时间（状态）调节器lP(t)P(t)的数的数值值解解 见见程序集程序集33n有限时间输出调节器l优优化化问题问题提法提法式（式（3-583-58）l矩矩阵阵RiccatiRiccati微分方程，微分方程，式（式（3-603-60）l全状全状态态反反馈馈，KalmanKalman增益增益K(t)K(t)式（式（3-623-62）34n无限时间输

19、出调节器l优优化化问题问题提法，式（提法，式（3-633-63）定理定理3-13-1有有4 4部份：部份：l(a)(a)P(t)=PP(t)=Pbarbar=const=const的充要条件的充要条件为为（A,BA,B）能能稳稳定定能能观观性分解，式（性分解，式（3-663-66）代入系数矩代入系数矩阵阵，式（，式（3-643-64）即式（）即式（3-683-68）从式（从式（3-693-69）的第二式、第三式和）的第二式、第三式和边边界条界条件得件得 P P1212(t)=O(t)=O，P P2222(t)=O(t)=O，得式（，得式（3-70)3-70)不能不能观观极点在极点在A A222

20、2中，不影响中，不影响P(tP(t）35（续）无限时间输出调节器设设能能观观，不会影响，不会影响证证明明P(t)=PP(t)=Pbarbar=const=constl从能控性分解从能控性分解 式（式（3-71)3-71)出出发发l证证必要条件必要条件(能能稳稳定定)：设设（A,BA,B）不能）不能稳稳定（不定（不稳稳定极点不能控）定极点不能控）不能控极点在不能控极点在A A2222中中,输输出出z(t)z(t)和和JJ都都发发散散 按式（按式（3-253-25），），P(t)P(t)不存在，不存在，P Pbarbar不存在不存在l证证充分条件充分条件(能能稳稳定定)：设设能能稳稳定（不定（不稳

21、稳定极点能控）定极点能控）式（式（3-733-73）说说明明P(t)P(t)有上界有上界36（续）无限时间输出调节器 式（式（3-733-73）单调单调非减，得非减，得P(t)P(t)单调单调非减非减 有唯一极限有唯一极限P(t)=PP(t)=Pbarbar=const=constl(b)(b)若能若能稳稳定，能定，能检测检测，则则唯一的唯一的P Pbarbar半正定半正定 P(t)=PP(t)=Pbarbar=const=const，式（，式（3-643-64）退化）退化为为矩矩阵阵RiccatiRiccati代数方程，式（代数方程，式（3-653-65），前已），前已证证有唯一极限有唯一极

22、限P Pbarbar 能能检测检测（不能（不能观观极点极点稳稳定），不考定），不考虑虑不能不能观观部分部分 由式（由式（3-243-24）及式（）及式（3-253-25）得）得 P Pbarbar半正定半正定(c)u(t)u(t)稳稳定的充要条件定的充要条件为为能能稳稳定，能定，能检测检测 37（续）无限时间输出调节器l证证必要条件：必要条件：必需必需能能稳稳定和能定和能检测检测，否，否则则不不稳稳定极点不能定极点不能 控，不能控，不能观观极点不极点不稳稳定定l证证充分条件：充分条件：能控性分解能控性分解 式式(3-71),(3-71),得式（得式（3-753-75）从式（从式（3-753-7

23、5）可写出式（）可写出式（3-763-76），解出），解出P P1111(t)(t)能控性分解中的能控性分解中的A A1111含能控的极点（包括不含能控的极点（包括不稳稳定的极点）定的极点）,A,A1111-B-B1 1R R-1-1(B(B1 1)T TP P1111渐近稳定渐近稳定A A2222含不含不能控的极点（但包括能控的极点（但包括稳稳定的极点）定的极点）38（续）无限时间输出调节器(A(A11,11,B B1 1)能控包含能控包含(A(A11,11,B B1 1)能能稳稳定，按本定理定，按本定理 (a)(a)P P1111(t)=P(t)=P11bar11bar=const=con

24、st的的充要条件充要条件为为(A(A11,11,B B1 1)能能稳稳定定最最优优反反馈馈控制控制为为式（式（3-773-77）反反馈馈系系统为统为式（式（3-783-78）分分块块上三角形矩上三角形矩阵阵的特征的特征值值取决于对角块取决于对角块 各矩阵的，因各矩阵的，因A A1111-B-B1 1R R-1-1(B(B1 1)T TP P1111渐渐近近稳稳定定及及A A2222渐渐近近稳稳定，故定，故反馈系统渐反馈系统渐近近稳稳定定39（续）无限时间输出调节器(d)(d)设设Q Q 正定，正定，P Pbarbar正定的充要条件为能观正定的充要条件为能观l证必要条件证必要条件(能观能观)：设

25、设部分能部分能观观，能，能观观性分解，式（性分解，式（3-663-66）,在本定理在本定理(a)(a)中有式（中有式（3-703-70）detP(t)=0,detP(t)=0,P(t)P(t)非正定，非正定，P Pbarbar非正定非正定l证证充分条件充分条件(能能观观)：反反设设能能观观，但，但P Pbarbar非正定非正定 存在存在x x0 0 00，不加控制，却可使，不加控制，却可使输输出出为为0 0，荒荒谬谬，故，故P Pbarbar 正定正定40（续）无限时间输出调节器l P Pbarbar的解析解的解析解令非异令非异变换变换T T，式（，式（3-823-82）对对HamiltonH

26、amilton矩矩阵阵可可验证验证式（式（3-833-83）式（式（3-843-84）表示）表示 阵阵有特征有特征值值 式（式（3-853-85）表示）表示 阵阵有特征有特征值值-阵阵无复特征无复特征值值模模态阵态阵MM使使 阵阵分分块对块对角化，式（角化，式（3-873-87）有相异特征有相异特征值时值时，分，分块对块对角化角化41（续）无限时间输出调节器 有重复特征有重复特征值时值时，JordanJordan块块 从式（从式（3-873-87）式（式（3-923-92）P Pbarbar=M=M2121(M(M1111)-1-1见见程序集程序集lP Pbarbar的数的数值值解解见见程序集

27、程序集l用控制系用控制系统统工具箱工具箱见见程序集程序集 42n使用LQR的系统的稳定裕量l式（式（3-102)3-102)式（式（3-1093-109），），KalmanKalman不等式不等式 单输单输入系入系统统的的KalmanKalman不等式不等式 式（式（3-1103-110）式（式（3-1113-111）l系系统统方框方框图图，图图3-63-6开开环传递环传递函数与开函数与开环频环频率特性率特性l图图3-73-7，频频率特性率特性幅度余量无限大幅度余量无限大相位余量至少相位余量至少60600 0以以全状态反馈为条件全状态反馈为条件 43n小结l 有限有限时间调节时间调节器的器的设

28、计设计，只需求解矩只需求解矩阵阵RiccatiRiccati 微分方微分方程，为终值问题，它程，为终值问题，它 比比TPBVPTPBVP容易解容易解l 无限无限时间调节时间调节器的器的设计设计，仅仅需求解矩需求解矩阵阵RiccatiRiccati代数方代数方程，它又比程，它又比有限有限时间时间调节调节器的器的设计简单设计简单，又容易，又容易实现实现l 有限有限时间调节时间调节器的器的设计设计，得，得K(t)K(t)无限无限时间调节时间调节器的器的设计设计，得，得K K44（续）小结l必须先选取几组加权矩阵必须先选取几组加权矩阵Q Q及及R R，通，通过设过设 计计和仿真，修改和仿真，修改Q Q

29、及及R R，直至，直至获获得得满满意的意的 暂态过暂态过程，控制器程，控制器设计设计才告才告终终lLQRLQR的的优优异性能（幅度余量无限大，相异性能（幅度余量无限大，相 位余量位余量至少至少60600 0）以全状）以全状态态反反馈为馈为条件条件lLQRLQR是自是自动动控制理控制理论发论发展中的一个里程展中的一个里程 碑（碑（虽虽然有缺点）然有缺点）45第4章 离散系统最优控制n引言l两种两种离散系离散系统统l优优化化问题问题提法提法n离散变分法与Euler方程l 泛函求极泛函求极值值（无（无约约束）束）l 泛函的一次泛函的一次变变分分 式（式（4-34-3），式（），式（4-44-4）46

30、（续）离散变分法与Euler方程l 泛函极泛函极值值存在的必要条件存在的必要条件式（式（4-54-5）l EulerEuler方程和横截条件方程和横截条件式（式（4-84-8）47n 离散系统最优控制l 泛函求极泛函求极值值 式（式（4-94-9）l 化化为为无无约约束束优优化化问题问题式（式（4-104-10），），LagrangeLagrange乘子向量乘子向量(k+1)(k+1)l 泛函极泛函极值值存在的必要条件存在的必要条件横截条件，伴随方程，耦合方程，横截条件，伴随方程，耦合方程，状状态态方程，式（方程，式（4-154-15）例例4-14-1 48n有限时间离散LQR问题l 时变情况

31、时变情况泛函求极泛函求极值值，式（，式（4-174-17）泛函极泛函极值值存在的必要条件存在的必要条件 伴随方程，耦合方程，横截条件伴随方程，耦合方程，横截条件两点两点边值问题边值问题，式（，式（4-244-24），），HamiltonHamilton矩矩阵阵H(k)H(k)矩矩阵阵RiccatiRiccati差分方程三种形式差分方程三种形式式（式（4-26a4-26a），式（），式（4-26b4-26b），式（），式（4-26c4-26c）最最优优反反馈馈控制控制结结构，构，图图4-14-1 式（式（4-274-27），式（），式（4-284-28），），KalmanKalman增益增益K(

32、k)K(k)49（续）有限时间离散LQR问题l 非时变情况非时变情况 泛函求极泛函求极值值，式（，式（4-174-17）矩矩阵阵RiccatiRiccati差分方程三种形式差分方程三种形式 式（式（4-26a4-26a），式（，式（4-26b)4-26b)，式（，式（4-26c4-26c）最最优优反反馈馈控制控制结结构构 式（式（4-274-27），式（，式（4-28)4-28)，KalmanKalman增益增益K(k)K(k)lP(k)P(k)的解析解，式（的解析解，式（4-304-30）例例4-24-250（续）有限时间离散LQR问题lP(k)P(k)的的数数值值解解 见见程序集程序集 例

33、例4-34-351n无限时间离散LQR问题l矩矩阵阵RiccatiRiccati 代数方程代数方程式（式（4-26a)4-26a)退化退化为为式（式（4-41a)4-41a)式（式（4-26b)4-26b)退化退化为为式（式（4-41b)4-41b)式（式（4-26c)4-26c)退化退化为为式（式（4-41c)4-41c)式（式（4-27)4-27)退化退化为为式（式（4-42a)4-42a)式（式（4-28)4-28)退化退化为为式（式（4-42b)4-42b)全状全状态态反反馈馈52（续）无限时间离散LQR问题lP Pbarbar的解析解的解析解式（式（4-44)4-44)式（式（4-4

34、8)4-48)求求H H-1-1的的过过程程:令非异令非异变换变换T T，同式（，同式（3-823-82）对对HamiltonHamilton矩矩阵阵H可可验证验证式（式（4-46)4-46)T T及及H H的内容代入式（的内容代入式（4-46)4-46)，得式（，得式（4-48)4-48)设设H H-1-1的特征的特征值值 和相和相应应的特征向量的特征向量f fT T g gT T T T，求，求H H的特征的特征值值：H H-1-1的内容代入式（的内容代入式（4-49)4-49)，得式（，得式（4-50)4-50)展开并重展开并重组组，得式（，得式（4-52)4-52)53（续）无限时间离

35、散LQR问题 向量形式，式（向量形式，式（4-53)4-53)，即式（，即式（4-54)4-54)式（式（4-54)4-54)说说明明H H有特征有特征值值 故故H H-1-1有特征有特征值值1/1/（前已（前已设设H H-1-1有特征有特征值值）故故H H有特征有特征值值 和和1/1/H H只含只含实实特征特征值值(无复特征无复特征值值)，并只分，并只分为为 稳稳定的和不定的和不稳稳定的两种，即只分定的两种，即只分为为位于位于单单 位位圆圆内的和内的和单单位位圆圆外的两种（若外的两种（若 在在单单位位圆圆内，内，1/1/必在必在单单位位圆圆外）外）54（续）无限时间离散LQR问题模模态阵态阵

36、MM使使 阵阵分分块对块对角化，式（角化，式（4-564-56）有相异特征有相异特征值时值时，分，分块对块对角化角化有重复特征有重复特征值时值时，JordanJordan块块MM和和H H的内容代入式（的内容代入式（4-56)4-56)从式（从式（4-564-56）式（式（4-654-65）P Pbarbar=M=M2222(M(M1212)-1-1 例例4-44-4 55（续）无限时间离散LQR问题lP Pbarbar的数的数值值解解 见见程序集程序集 例例4-54-5l用控制系用控制系统统工具箱工具箱 见见程序集程序集 例例4-6,4-6,例例4-74-7 56第5章 最大值原理n引言l式

37、（式（5-15-1）不能用）不能用变变分法求解的原因分法求解的原因n最小值原理l引理引理5-15-1的叙述的叙述：非非线线性、非性、非时变时变系系统统，给给定初始条件，定初始条件，控制有界控制有界 57（续）最小值原理 x xi i(t)(t)为连续为连续函数，用最大函数，用最大值值范数；在范数；在 不同的不同的i i时时，从，从x xi i(t)(t)的最大的最大值值范数中取范数中取 最大的一个作最大的一个作为为x x向量的范数向量的范数 u ui i(t)(t)可可为为按段光滑的函数，取按段光滑的函数，取p p范数，范数，当当p=1,p=1,则为则为1 1范数；在不同的范数；在不同的i i

38、时时，从，从 u ui i(t)(t)的的1 1范数中取上确界（最小的上界范数中取上确界（最小的上界）作）作为为u u向量的范数向量的范数 求求证证：x和和 u u的范数的范数为为同同阶阶无无穷穷小小 58（续）最小值原理l引理引理5-15-1的的证证明明过过程：程：设设微分方程微分方程满满足足LipschitzLipschitz条件（即条件（即设为压设为压縮縮 映射），式（映射），式（5-25-2）附附录录5A5A赋赋范范线线性向量空性向量空间间 最大最大值值范数，范数，p p范数范数BanachBanach空空间间CauchyCauchy序列，完序列，完备备性性压缩压缩映射与不映射与不动动

39、点点 压缩映射原理压缩映射原理 59（续）最小值原理 dx/dt=f(x)dx/dt=f(x)可化为可化为x=x=F(x)F(x)u取最优控制，式（式（5-25-2）化为式（）化为式（5-35-3）由由FrFr chetchet微分的定义，得式（微分的定义，得式（5-45-4）FrFr chetchet微分微分dfdf，式（，式（5-55-5）式（式（5-65-6）的推导过程，并类似得式（）的推导过程，并类似得式（5-75-7）对状态方程两边取对状态方程两边取FrFr chetchet微分，式（微分，式（5-85-8）摄动方程的解，式（摄动方程的解，式（5-95-9）x和和 u u的范数为同阶

40、无穷小，式（的范数为同阶无穷小，式（5-105-10）60（续）最小值原理l引理引理5-25-2的叙述：的叙述：非非线线性、非性、非时变时变系系统统，给给定初始条件，定初始条件，控制有界控制有界 目目标标函数，式（函数，式（5-125-12）求求证证：目：目标值标值的差的差为为式（式（5-135-13）l引理引理5-25-2的的证证明明过过程：程：化化为为无无约约束束优优化化问题问题，式（，式（5-145-14）61（续）最小值原理 推演式（推演式（5-155-15），并），并类类似得式（似得式（5-165-16）推演式（推演式（5-175-17）l定理定理5-15-1的叙述：的叙述：泛函求极

41、泛函求极值值，式（，式（5-185-18），控制有界，控制有界泛函极泛函极值值存在的必要条件存在的必要条件伴随方程，状伴随方程，状态态方程，方程，H H全局最小，全局最小，式（式（5-195-19）l定理定理5-15-1的的证证明明过过程：程：62（续）最小值原理耦合方程已不复存在，但伴随方程和状耦合方程已不复存在，但伴随方程和状态态方程方程 仍仍为为必要条件必要条件证证明明H H全局最小全局最小为为必要条件必要条件时时，用反，用反证证法法设设t tbarbart t0,0,t tf f,w w，有式（，有式（5-215-21）因因f f及及 连续连续，t tbarbar 的的邻邻域域t ta

42、,a,t tb b，t tbarbart ta,a,t tb b 为为 t t0,0,t tf f 的子集，的子集，0 0，有式（，有式（5-225-22）取特殊控制取特殊控制u u 当当t t不属于不属于t ta,a,t tb b 时时,u=uu=ucapcap 当当t t属于属于t ta a,t tb b 时时,u u=w w63（续）最小值原理 却有却有J(J(u ucapcap)-J)-J(u(u)0 0式（式（5-235-23）表明事）表明事实实相反，故上述特殊控制相反，故上述特殊控制 u u 非最非最优优控制控制因因t tbarbar任取，故式（任取，故式（5-235-23）之）之

43、证证明有普遍意明有普遍意义义因伴随方程、状因伴随方程、状态态方程均方程均为为必要条件，故式必要条件，故式（5-195-19）仍）仍为为必要条件必要条件64nBang-Bang控制l式（式（5-245-24）的两个特点）的两个特点lHamiltonHamilton函数函数l使用使用“H H全局最小全局最小”lu ui i取两个极端值，取两个极端值，Bang-BangBang-Bang Bang-BangBang-Bang 产产生的条件生的条件65n时间最优控制系统的性质l线性非时变系统的时间最优控制线性非时变系统的时间最优控制式（式（5-255-25）的物理概念）的物理概念HamiltonHam

44、ilton函数函数H H，式（，式（5-265-26）横截条件，式（横截条件，式（5-275-27）协态协态方程，式（方程，式（5-295-29）状状态态方程方程H H全局最小，式（全局最小，式（5-305-30）u ui i(t)=-sgnB(t)=-sgnBT T(t)(t)i i式（式（5-255-25）为为另一种形式的提法，本另一种形式的提法，本质质不不变变66（续）时间最优控制系统的性质l命命题题5-15-1的叙述：的叙述：式（式（5-255-25）所示）所示时间时间最最优优控制控制问题问题u ui i(t)=-sgnB(t)=-sgnBT T(t)(t)i i为为唯一的唯一的l命命

45、题题5-15-1的的证证明明过过程：程：协态协态方程的解中，方程的解中，(0)(0)0 0，否，否则则矛盾矛盾(t)(t)0,0,u ui i(t)(t)不不发发生奇异情况生奇异情况若若设设u u1 1,u,u2 2两个不同的最两个不同的最优优控制向量，控制向量，则则与状与状态态方程解的唯一性相矛盾方程解的唯一性相矛盾67（续）时间最优控制系统的性质l命命题题5-25-2的叙述：的叙述：式（式（5-255-25）所示）所示时间时间最最优优控制控制问题问题若存在最若存在最优优控制控制u ui i(t)=-sgnB(t)=-sgnBT T(t)(t)i i 式（式（5-305-30）uui i(t

46、)(t)至多切至多切换换n-1n-1次次l命命题题5-25-2的的证证明明过过程：程：协态协态方程的解方程的解,式（式（5-315-31）最最优优控制可改写控制可改写为为u ui i(t)=-sgn(e(t)=-sgn(e-At-Atb bi i)T T 0 0 68（续）时间最优控制系统的性质 切换条件为切换条件为(e(e-At-Atb bi i)T T 0 0=0=0，式（，式（5-325-32）设有相异特征值，设有相异特征值，式（式（5-325-32）改为式改为式（5-335-33）满足此式满足此式t t的个数，即为切换次数的个数，即为切换次数 用数学归纳法证之用数学归纳法证之n=1n=

47、1时成立时成立n=2n=2时成立时成立设设n-1n-1时成立，应证明时成立，应证明n n时也成立，用反证法时也成立，用反证法 ：先反设式：先反设式（5-335-33）有有n n个实根，结果自相个实根，结果自相 矛盾；有矛盾；有n-1n-1个实根，才能自圆其个实根，才能自圆其说说69n无阻尼运动的时间最优控制l物理背景，物理背景，式（式（5-365-36）l优优化化问题问题提法，式（提法，式（5-395-39）H H函数函数协态协态方程方程H H全局最小，式（全局最小，式（5-405-40）启启发发式求解式求解 u=+1,u=+1,式（式（5-41a5-41a）u=-1,u=-1,式（式（5-4

48、1b5-41b）70（续）无阻尼运动的时间最优控制 式（式（5-41a5-41a）及式（）及式（5-41b5-41b）示于）示于图图5-15-1分析分析图图5-25-2开关函数，式（开关函数，式（5-435-43）控制系控制系统统方框方框图图，图图5-35-371n存在恢复力时,无阻尼运动的 时间最优控制l物理背景，式物理背景，式（5-455-45）l优优化化问题问题提法，式（提法，式（5-475-47）H H函数函数H H全局最小，式（全局最小，式（5-485-48）协态协态方程，式（方程，式（5-495-49），从），从图图5-45-4看出切看出切 换换的持的持续时间为续时间为 启启发发式

49、求解式求解 u=+1,u=+1,式（式（5-515-51）u=-1,u=-1,式（式（5-525-52）72（续）存在恢复力时,无阻尼运 动的时间最优控制式（式（5-515-51）及式（）及式（5-525-52）示于）示于图图5-55-5，基，基 本的开关本的开关线线分析分析图图5-55-5，衍生出开关，衍生出开关线线的的总总体，体，图图5-65-6开关函数，式（开关函数，式（5-545-54）控制系控制系统统方框方框图图，图图5-75-773n燃料最优控制系统的性质l物理背景物理背景l泛函求极泛函求极值值，式（，式（5-555-55）H H函数函数H H全局最小，式（全局最小，式（5-585

50、-58）式（式（5-585-58）的）的图图示，示，图图5-8(a),(b)5-8(a),(b)，两者，两者 叠合得叠合得图图5-95-9的阴影区的阴影区阴影区的下部阴影区的下部边边界即界即为为式（式（5-585-58）的解）的解式（式（5-605-60）与式（）与式（5-615-61）对对照，用死区函照，用死区函 数表示，数表示，图图5-105-10，Bang-off-BangBang-off-Bang74n无阻尼运动的燃料最优控制 l优优化化问题问题提法，式（提法，式（5-635-63）l物理背景物理背景H H函数函数协态协态方程方程H H全局最小全局最小启启发发式求解式求解u=+1,u=

51、+1,式（式（5-41a5-41a）u=-1,u=-1,式（式（5-41b5-41b）u=0,u=0,式（式（5-655-65）,式（式（5-665-66）75（续）无阻尼运动的燃料最优控制 若初速若初速为为0 0，又，又u=0u=0，则则不能控不能控图图5-115-11，四个区域分析，四个区域分析图图5-125-12，开关，开关线线控制系控制系统统方框方框图图，图图5-135-1376nSIMULINK用于Bang-Bang控制 的仿真 见程序集见程序集77n小结l最大值原理是自动控制理论发展中的一最大值原理是自动控制理论发展中的一 个里程碑，至今尚无取代物个里程碑，至今尚无取代物l最大值原

52、理与最大值原理与LQRLQR思路各不相同：前者思路各不相同：前者 在约束条件中直接考虑控制有界；后者在约束条件中直接考虑控制有界；后者 在目标函数中间接考虑控制能量消耗要在目标函数中间接考虑控制能量消耗要 少少lBang-BangBang-Bang控制有产生的条件，并有控制有产生的条件，并有 适用的范围适用的范围78第6章 动态规划n引言l定积分与无穷和式定积分与无穷和式最优控制与最优决策序列最优控制与最优决策序列l单段决策过程和多段决策过程单段决策过程和多段决策过程不同的求解方法不同的求解方法79n多段决策过程l动态动态系系统统的的递递推关系，推关系，图图6-16-1l多段决策多段决策过过程

53、程泛函求极泛函求极值值，式（，式（6-26-2）加性可分目加性可分目标标函数函数u(N)u(N)不存在，不存在，图图6-26-280n动态规划的基本思想l假定假定现在和将来的决策不影响过去的状现在和将来的决策不影响过去的状 态、决策和目标态、决策和目标在在k k时时刻，由刻，由x(k)x(k)立即作出决策立即作出决策u(k)u(k)l改写改写为为普遍形式，式（普遍形式，式（6-36-3）l简记简记I(I(x x,k),k),式（式（6-46-4）81（续）动态规划的基本思想lBellmanBellman方程方程的推演过程：的推演过程：按假定按假定1 1，先，先对对u(k+1),u(k+2),u

54、(N-1)u(k+1),u(k+2),u(N-1)求求min,min,后后对对u(k)u(k)求求minmin和式分开写和式分开写(x(k),u(k),k)(x(k),u(k),k)和和u(k+1),u(k+2),u(N-1)u(k+1),u(k+2),u(N-1)无关，可提至无关，可提至minmin记记号外号外再次使用式（再次使用式（6-46-4）之定）之定义义 式（式（6-56-5），），BellmanBellman方程，方程，递递推关系，推关系，动态规动态规划划82（续）动态规划的基本思想l动态规划的特点动态规划的特点目标值反向扫掠目标值反向扫掠状态值正向扫掠状态值正向扫掠两者联系的纽带

55、为最优决策序列两者联系的纽带为最优决策序列每一段中寻求最优决策的方法是关键每一段中寻求最优决策的方法是关键例例6-16-1及例及例6-26-2使用求使用求导导（局部极（局部极值值）和解代数）和解代数方程方程,可使用符号可使用符号计计算（算（见见程序集）程序集）例例6-36-3及例及例6-4,6-4,用数用数值值比大小（全局极比大小（全局极值值），），见见表表6-2,6-2,表表6-3,6-3,表表6-46-483n用动态规划求解离散LQR问题l有限有限时间时间离散离散LQRLQR问题问题，式（，式（6-66-6）写出写出BellmanBellman方程，式（方程，式（6-76-7）令令I(I(

56、x x,k)=(1/2)x,k)=(1/2)xT T(k)P(k)x(k),(k)P(k)x(k),二次型二次型 寻寻找符合找符合这这一假定的依据一假定的依据I(I(x x(k+1),k+1)(k+1),k+1)代入式（代入式（6-76-7）计计算算I(I(x x,k),k)，式（，式（6-86-8），式（），式（6-96-9）求求minmin，得最，得最优优控制控制u u(k)(k)，式（，式（6-116-11）u u(k)(k)代入式（代入式（6-96-9），得式（），得式（6-126-12）必必须满须满足矩足矩阵阵RiccatiRiccati差分方程，才能自差分方程，才能自圆圆其其说说8

57、4n动态规划的上机计算步骤例例6-46-4，例，例6-56-5程序框图，图程序框图，图6-46-485n动态规划的优缺点l适用于各种形式的目标函数、系统适用于各种形式的目标函数、系统 和约束和约束l约束条件越多，求解越省事约束条件越多，求解越省事l得出全局最优得出全局最优l适合于计算机的循环运算适合于计算机的循环运算l缺点：维数灾难缺点：维数灾难86n 动态规划的连续形式 （HJB方程）lHJBHJB方程的推导过程：方程的推导过程：泛函求极泛函求极值值，式（，式（6-146-14）简记简记V V(x x,t),t),式（式（6-156-15）仿式（仿式（6-56-5），），应应有有递递推关系，

58、式（推关系，式（6-166-16）V V(x x,t),t)用用TaylorTaylor级级数展开，化数展开，化简简，式（，式（6 6-17-17）消去消去V V(x x,t),t)及及t t，忽略高，忽略高阶阶无无穷穷小，得小，得 式（式（6-186-18）为为充分条件充分条件87（续）动态规划的连续形式 （HJB方程）lHJBHJB方程与最小值原理的关系方程与最小值原理的关系协态协态向量是最小目向量是最小目标标函数的梯度，式（函数的梯度，式（6-236-23）式（式（6-186-18）也也说说明明H H应应全局最小全局最小 例例6-66-688l泛函求极泛函求极值值，式（，式（6-256-

59、25）写出写出HJBHJB方程，式（方程，式（6-266-26）令令V V(x x,t)=(1/2)x,t)=(1/2)xT T(t)P(t)x(t),(t)P(t)x(t),二次型二次型寻寻找符合找符合这这一假定的依据一假定的依据V V(x x,t),t)代入式（代入式（6-266-26）化）化简简，式（，式（6-286-28）求求minmin，得最，得最优优控制控制u(u(t)t)，式（，式（6-306-30）u(u(t)t)代入式（代入式（6-286-28），得式（），得式（6-316-31）必必须满须满足矩足矩阵阵RiccatiRiccati微分方程，才能自微分方程，才能自圆圆 其其说

60、说89n用HJB方程求解连续LQR问题n小结l动态规划是自动控制理论发展中的一动态规划是自动控制理论发展中的一 个里程碑，至今尚无取代物个里程碑，至今尚无取代物l在自动控制在自动控制中影响范围中影响范围极广，计有：极广，计有：确定性离散动态规划（简称动态规划，确定性离散动态规划（简称动态规划，BellmanBellman方程，递推关系），方程，递推关系），确定性连续动态规划（简称确定性连续动态规划（简称HJBHJB方程）方程）随机动态规划随机动态规划模糊动态规划模糊动态规划神经元动态规划神经元动态规划 90n结束语l从经典的反馈控制到最优控制经历了从经典的反馈控制到最优控制经历了“改朝换代改朝

61、换代”，但是为了克服最优控制的，但是为了克服最优控制的 缺点，后出现的自适应控制、模型预测缺点，后出现的自适应控制、模型预测 控制、基于控制、基于H H 的鲁棒控制等都属于最优的鲁棒控制等都属于最优 控制的同一时代的产物。因为它们都基控制的同一时代的产物。因为它们都基 于受控对象的数学模型，差别仅在于如于受控对象的数学模型，差别仅在于如 何获得数学模型或允许数学模型有多大何获得数学模型或允许数学模型有多大 91（续）结束语 误差。误差。l现在控制器设计又将经历现在控制器设计又将经历“改朝换代改朝换代”了了 ，将面向不确定性系统。我们要关注人工，将面向不确定性系统。我们要关注人工 智能，它有较大的抱负，它的举手投足都智能，它有较大的抱负，它的举手投足都 会影响到自动控制理论。我们要关注会影响到自动控制理论。我们要关注“软软 计算计算”，“计算智能计算智能”等。等。l学习和讲授最优控制的目的不是为了死守学习和讲授最优控制的目的不是为了死守 这个地盘，而是为了前进。这个地盘，而是为了前进。92