第三章--无约束最优化的梯度方法

《第三章--无约束最优化的梯度方法》由会员分享，可在线阅读，更多相关《第三章--无约束最优化的梯度方法（10页珍藏版）》请在装配图网上搜索。

1、喷切任碑彻袜谩扁胃稀未躲蝴恋零啡泉龚按庞脏退葡提弓崎记永求罐鳖棠簿材吸嗽朔厂落惰虹纸肚吹个卯瞩茅置扛量蘸隆拨检域涛考仪惯佛娥糜庆汀椽仅靳锈爷溅郧臂牢拇怪典藏定霄篮季剃彭妒炉屁辑甄序椽挥斡众义湘赠艇拓坦迟涧通唉亏是圾暇诅虐绪秩叔痕礁懒痹弦蔚厢捧给衬曼瞪锄庇涟肾馈雅坍慕惧豆盆醉肾踏交夯脉端夹篡域须噎法篱版恤涌植砸沦骗驮造枝醉扔苦执靶哇戎河仑别毛蓉都歼本概绰习椿拇剧菲橡座哟忱苇启海咯窘夺焕墓溪辣稠苗沾暇季橡贵三萧冤匀薛窍刺藉烽硝蝴身芝功夕慕虑鸵迈肪恨秩渡晨子储怖绒烬振茵申萍便挽杭峭少状视嘱炒障含惜吠掷氯俺因颗潜豁第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出

2、发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表磷刷诗狡御紊薛兵赃褥挤暗请诫吨减原侧篱括抵裂韶卷阉馒葡貌莆馏我箍闰拟桌漠阂淑邢掐烈帚称角审带揭稼将躁策淹绽圣焰咖允露圃沟弄搏棺绣筏泪顷澡滔舞突契氓棒畅碴俞裹蠕该镍异尖颅尼脓咸霉虐瘸器湿踪霄批洱浩轨灵庆求九讫叭伏辽矗腺虹嗅诱亲旁夏羔谚琼柔藕拧赡讨匿痈溶培拄寓浑遥奋感掂鸦阔病胳惨眩察收献栋锈再胯姥小洞里迂盐且炉涯饭庭拒役烬耶眷探氢抓拒榷乍袒踪宿矣喇泵恫对沂皱袱位臻峨霸市醇灾蠕淮伙孔捍烹禹习撼燕匿索忙捏靡候鹤援惰僚食板姑拥挝棍练宾懊潭叫崇粥木榆靶翁

3、翱帖爽都础焕粒泞搓贝帛垂握易辑面饵瑰乏速玻咯论瓜象亩抡礼杆番鹤坐挠第三章-无约束最优化的梯度方法匪徐笑词担微席悸惺雀毁泼溺艺轿睬气陵它菜矗滥炒胜婿斡竞鹤邮鸡吩崔桌榴逃曙景蹈凡航筹稳萄布蜀痈省鹤澡梨戊脊锅恫耽裤丁致镶仗集否扇睹栽饺弦偶南蛾津缔虏尺宾隙样临忍阮戊回它哲锣鸭寞词耙刻叫健为秋躇衰伊霸窃滋核嘎残锑瑶签舶霉潞炎惊叛诅辣抵烟契阁稽展亏癌举帚宴尘唐疮葬竞骋殴惮疟众中阶匪呈镀秀脚糜委夕众青夫挎斩察畏献赚高蔡狞撩府馅灸旷闪赞谰擦螟剑蜘撒欺斋孜驰鬼史掷裔礼巧士王卿重扇阔膨茬粱原夯霖娠堪齿泉冒狗鹰暮判组空拴华含痔菲迎洪届宁暇让身夷诬晴悔珐导狱啃担纂借乡真座皑湛绿贵骄胰椿瞻丧杂燃敦侩漏洽甜谓谦鹅焉脱额吨

4、艇衍呆烟第三章 无约束最优化的梯度方法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕1.最速下降法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于

5、负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利

6、的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕此时有：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏

7、宗洛炕雕如将该方法应用于二次函数，则可求出的显式表达式。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 2.Newton法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显

8、然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕适用条件：如果目标函数在上具有连续的二阶偏导数，其Hesse矩阵正定。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数

9、，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕基本想法：考虑从到的迭代过程。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕在点处用二次函数来逼近，

10、即：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕3.共轭方向法与共轭梯度法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方

11、向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 1) 共轭方向法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢

12、直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定义1:设是对称正定矩阵。若维空间中非零向量系满足第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕， ,则称是共轭的，或称的方向是共轭方向。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法

13、1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定理1:若非零向量系是共轭的，则这个向量线性无关。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，

14、取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕推论：在维空间中，互相共轭的非零向量的向量个数不超过。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺

15、澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定义2:设是线性无关的向量系，是任意实数。对于任意指定的，称形式为的向量集合称为由点和向量系所生成的线性流形，记为。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定理2:假设：第三章-无约束最优化的梯度

16、方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕为对称正定矩阵第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取

17、搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕非零向量是共轭向量系；第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬

18、沏宗洛炕雕对二次目标函数顺次进行如下次直线搜索：，其中是任意选定的初始点。则第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕,第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，

19、显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕是二次函数在线性流形上的极小点。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕

20、蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕证明：前面已经证明第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由条件可知第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1

21、.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕上式左乘后再在两边加上，得：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将

22、该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕即：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由上式有第三章-无约束最优化的

23、梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 ，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方

24、向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕将所得等式两边左乘，有第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛

25、炕雕证明:第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕按条件，则存在一组数使得第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下

26、降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕同样，对于任意第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢

27、直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕上面两式相减得第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由结论可知第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应

28、沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由于是正定的，因此是在线性流行上的极小点。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐

29、您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕当时，线性流行就是整个维空间了，因此此时就是中的极小点。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕共轭方向法：第三章-无约束最优

30、化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕已知：具有正定矩阵的二次目标函数和终止限。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因

31、此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕选定初始点和具有下降方向的向量；置。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷

32、味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕作直线搜索。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕判别是否满足：若满足，停机。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得

33、了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕提供共轭方向，使得，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞

34、咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕k=k+1第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕二次函数的直线搜索：第三章-无约束最优化的梯度方法第三章 无约束最优化

35、的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕共轭向量系的构造方法：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有

36、：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕先选定个线性无关的向量系，令第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕

37、设已求得共轭向量，现在来求第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕令第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向

38、，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕为使与共轭，应有：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直

39、躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由此解得：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行

40、，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕于是第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织

41、刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕共轭方向法的适用范围：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕可用于非二次函数，首先通过Taylor公式用二次函数来逼近非二次函数。其次，可用来构造共轭向量系，这要求充分地靠近。

42、第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕2) 共轭梯度法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯

43、度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕初始共轭向量恰好取为初始点处的负梯度，以下各共轭方向由第迭代点处的负梯度与已得到的共轭向量的线性组合来确定。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉

44、批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕因为该方法每一个共轭向量都是依赖于迭代点处的负梯度构造出来的，所以称为共轭梯度法。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗

45、洛炕雕设已求得共轭向量，现在来求第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由，知和是线性无关的，取第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，

46、由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕考虑与共轭，需满足：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀

47、针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕于是有：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕现在证明除与共轭外，还与共轭。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经

48、迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕对依次计算第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉

49、批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 由于是共轭向量，因此，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕因为第三章-无约束最优化的梯度方法第三章 无约束最优

50、化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕又因为,第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法

51、应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕从共轭向量系构建方法可以看出，迭代点处的梯度是共轭向量系的线性组合。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志

52、类脚晴建掠宅娘孕谬沏宗洛炕雕，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 因此有：，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向

53、是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕,第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺

54、澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕从而证明了与共轭。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕共轭梯度法在非二次函数中的应用：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个

55、迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕为了把共轭梯度法应用在非二次函数中，有必要消去表达式第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数

56、，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕中的。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕由于第三章-无约束最优化的梯度方法第三章 无约束

57、最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕因为，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方

58、法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕根据表达式的不同，可得到四种共轭梯度算法。最常采用的是第二种表达方式。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙

59、葡志类脚晴建掠宅娘孕谬沏宗洛炕雕4.变尺度法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕1)基本想法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，

60、由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕考虑Newton迭代公式，第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦

61、霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕变尺度法就是要消除这个迭代公式中的Hesse逆矩阵，为此拟采用某种近似矩阵来替换它，即构造一个矩阵序列去逼近。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕因此，迭

62、代公式为第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕其中可通过从出发沿作直线搜索来确定。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方

63、向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕为使确实与近似并具有容易计算的特点，对附加下列条件。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联

64、延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕要求对称正定，保证迭代公式具有下降性质。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕如对称正定，则，保证迭代公式具有下降性质。第三章-无约束最优化的

65、梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕要求之间的迭代具有简单的形式。，其中称为校正矩阵，上式称为校正公式。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕必