5bei.cn大模型教程网【1】引言
前序学习进程中，对软边界拉格朗日方程进行了初步构建。
其中约定了两个拉格朗日乘子要非负，其本质是要满足KKT条件。
今天就乘此次机会，在回顾一下KKT条件。
【2】定义
当问题无约束的时候，只要让函数梯度为零，就可以判定此处有极值点。当有约束存在时，梯度为零条件不再适用。
KKT条件适用的优化问题为：
目标函数最小化，
min
f
(
x
)
min f(x)
minf(x)
不等式约束：
g
i
(
x
)
≤
0
(
i
=
1
,
2
,
.
.
.
,
m
)
g_{i}(x)leq 0 (i=1,2,…,m)
gi(x)≤0(i=1,2,…,m)
等式约束：$h_{j}(x)= 0 (j=1,2,…,p) $
其中，
x
∈
R
n
xin R^n
x∈Rn是自变量，
f
,
g
i
,
h
j
f,g_{i},h_{j}
f,gi,hj均为连续可微函数。
如果
x
∗
x*
x∗是局部最优解，且满足约束规范，比如Slater条件，则存在拉格朗日乘子
λ
i
≥
0
,
μ
lambda_{i}geq 0,mu
λi≥0,μ分别对应
g
i
,
h
j
g_{i},h_{j}
gi,hj，使得以下条件同时成立。
首先是目标函数与约束函数的梯度通过乘子线性组合为零，也就是梯度平衡：
∇
f
(
x
∗
)
+
∑
i
=
1
m
λ
i
∇
g
i
(
x
∗
)
+
∑
j
=
1
p
μ
j
∇
h
j
(
x
∗
)
=
0
nabla f(x^{*})+sum_{i=1}^{m}lambda_{i}nabla g_{i}(x^{*})+sum_{j=1}^{p}mu_{j}nabla h_{j}(x^{*})=0
∇f(x∗)+i=1∑mλi∇gi(x∗)+j=1∑pμj∇hj(x∗)=0
需要说明的是，不等式约束乘子非负，且满足
λ
i
⋅
g
i
(
x
∗
)
=
0
(
i
=
1
,
2
,
.
.
.
,
m
)
lambda_{i}cdot g_{i}(x^{*})=0(i=1,2,…,m)
λi⋅gi(x∗)=0(i=1,2,…,m)
上述公式在
x
∗
x^*
x∗是最优解时一定满足。
当
g
i
(
x
∗
)
gi(x∗)0时，实际上就在不等式约束内部，相当于无用约束，此时
λ
i
=
0
lambda_{i}=0
λi=0，所以
λ
i
⋅
g
i
(
x
∗
)
=
0
lambda_{i} cdot g_{i}(x^{*})=0
λi⋅gi(x∗)=0；
当
g
i
(
x
∗
)
=
0
g_{i}(x^{*})=0
gi(x∗)=0时，此时来到了不等式约束边缘，为了实现取极值，一定会满足梯度平衡，可参考拉格朗日乘数法加深理解，此时必有：
∇
f
(
x
∗
)
+
∑
i
=
1
m
λ
i
∇
g
i
(
x
∗
)
=
0
nabla f(x^{*})+sum_{i=1}^{m}lambda_{i}nabla g_{i}(x^{*})=0
∇f(x∗)+i=1∑mλi∇gi(x∗)=0因为
g
i
(
x
∗
)
=
0
g_{i}(x^{*})=0
gi(x∗)=0所以
λ
i
⋅
g
i
(
x
∗
)
=
0
lambda_{i}cdot g_{i}(x^{*})=0
λi⋅gi(x∗)=0。
下图可做辅助理解。
【3】总结
回顾了KKT条件的基本定义内容。
文章来源于互联网:python学智能算法（三十四）|SVM-KKT条件回顾
相关推荐: 微功耗遥测终端机是什么，其主要工作原理和应用领域
微功耗遥测终端机的定义 微功耗遥测终端机（Micro – power Telemetry Terminal Unit，简称 MTTU）是一种集数据采集、处理、存储与无线通信功能于一体的智能化设备。它在设计上着重强调低功耗特性，能够在有限的电源供应下长时间稳定运…
