《kkt条件和拉格朗日乘子法》由会员分享，可在线阅读，更多相关《kkt条件和拉格朗日乘子法（4页珍藏版）》请在装配图网上搜索。
1、深入理解拉格朗日乘子法(LagrangeMultiplier)和KKT条件在求取有约束条件的优化问题时，拉格朗日乘子法(Lagrange Multiplier)和KKT条件 是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最 优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只 是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日 乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却不知道为什么拉格朗日 乘子法(Lagrange Multiplier)和KKT条件能够起作用，为什么要这样去求取最优值呢
2、？ 本文将首先把什么是拉格朗日乘子法(Lagrange Multiplier)和KKT条件叙述一下；然后开 始分别谈谈为什么要这样求最优值。一.拉格朗日乘子法(Lagrange Multiplier)和KKT条件通常我们需要求解的最优化问题有如下几类：(i) 无约束优化问题，可以写为：min f(x);(ii) 有等式约束的优化问题，可以写为：min f(x),s.t. h_i(x) = 0; i =1, n(iii) 有不等式约束的优化问题，可以写为：min f(x),s.t. g_i(x) =0,我们可以把 f(x)写为：max_a,b L(a,b,x)，为什 么呢？因为h(x)=0, g
3、(x)v=O,现在是取L(a,b,x)的最大值，a*g(x)是v=0,所以L(a,b,x)只有 在a*g(x) = 0的情况下才能取得最大值，否则，就不满足约束条件，因此max_a,b L(a,b,x) 在满足约束条件的情况下就是f(x)，因此我们的目标函数可以写为min_x max_a,b L(a,b,x)。如果用对偶表达式：max_a,b min_x L(a,b,x),由于我们的优化是满足强对偶 的(强对偶就是说对偶式子的最优值是等于原问题的最优值的)，所以在取得最优值xO的条 件下，它满足 f(xO) = max_a,b min_x L(a,b,x) = min_x max_a,b L(
4、a,b,x) =f(xO)，我们 来看看中间两个式子发生了什么事情：f(xO) = max_a,b min_x L(a,b,x) = max_a,b min_x f(x) + a*g(x) + b*h(x)= max_a,b f(x0)+a*g(x0)+b*h(x0) = f(xO)可以看到上述加黑的地方本质上是说min_x f(x) + a*g(x) + b*h(x)在xO取得了最小值，用 fermat定理，即是说对于函数f(x) + a*g(x) + b*h(x)，求取导数要等于零，即 f(x)的梯度+a*g(x)的梯度+ b*h(x)的梯度=0 这就是kkt条件中第一个条件：L(a, b, x)对x求导为零。而之前说明过，a*g(x) = 0,这时kkt条件的第3个条件，当然已知的条件h(x)=0必须被满足, 所有上述说明，满足强对偶条件的优化问题的最优值都必须满足KKT条件，即上述说明的 三个条件。可以把KKT条件视为是拉格朗日乘子法的泛化。
kkt条件和拉格朗日乘子法
