Zhi-Kai Yang

[cvp07] Subdifferential Optimization Condition

31 Dec 2019 by BY Zhi-kai Yang

Dec.30, 2019

最后一周的凸分析课程,这次课也最终总结了凸分析研究优化问题的基本思想。本此的概要:

  • 切锥和法锥的概念,这两个基本概念对最优点所处条件作了方向性的描述。是基本工具。
  • 次梯度和次微分引入使得我们可以研究不可微凸函数的最优性条件。
  • 研究在不同类型集合上不同类型函数的最优性条件,使用次梯度和切锥、法锥为工具;

可以看出凸分析使用集合的角度研究优化贯穿始终,例如上周使用MCMC几何框架推出了优化常用的对偶理论。那么本周所得出的最优性条件也可以推导出大家非常熟悉的KKT条件。在本次内容之前我有必要回顾一下之前的章节,以数理整体脉络(其实是要考试了…):

这些基本的集合类型的用处是为了后续描述一些几何上的特性时更加方便。从凸集到仿射包的定义过程是逐渐放宽条件的。他们各自的性质也用到了后续的证明中;相对内部的定义是为了凸函数的研究中,定义域集和通常在整个函数空间的子空间中,此时定义域上内部的概念就失效了,为了更方便研究定义了相对内部的概念。

函数的上图的凸性和闭性与函数自身的连续性、凸性相联系。凸函数不一定都是连续可微的,而上图是一定存在可描述的。共轭函数的概念非常重要,他描述了函数上图另一种定义方式,即是一组与共轭函数相关的超平面的交集,这是对偶理论的基础。

回收方向是函数不增的方向。同样函数的增减性不用导数和微分描述,使用函数上图和定义域的回收方向描述,并且描述最优解的存在性条件。

这讲内容与其他部分是分离的。四种分离超平面描述了集合分离的基本类型。而凸分析基于一个基础理论就是所有的凸集都可以写成闭半空间交集的形式;

正如线性规划是很多与优化理论教程的开端,凸分析中使用凸多面体集合和顶点的概念分析线性规划问题的最优性条件;而极锥的概念由顶点而来,他描述了与一个集合方向始终成钝角的集合,极锥也是凸分析的重要工具;

由极大极小与极小极大的对偶问题出发,使用两类几何问题对应描述,从而得出对偶间隙、弱对偶定理。

使用次梯度分析一般函数的最优点满足的条件。

可见凸分析虽然不讲具体方法,但与凸优化切入的方式思想是相同的,对偶理论后寻找强对偶的条件,也就是最优点条件。

切锥、法锥

可行方向集

definition: 设CRn 的子集,xC 是向量,yRn 的向量。 若存在ˉα>0 使得 x+αyC, α[0,ˉα] 成立,则称xy 为集合Cx 处的可行方向集合。记做FC(x)

FC(x) 为包含原点的锥;

C是凸集, α>0 以及 ˉxCα(ˉxx)FC(x)

切方向,切锥

definition: xC中向量, yRn 中向量, 若存在序列xkC ,对所有k (对所有路径) 满足xkxxkx, xkx||xkx||y||y|| 则称yCx 处的切方向;这些方向的集合成为Cx 处的切锥 (Tangent Cone), 记做TC(x) .

从直观上理解,就是一条到达x 的路径序列最后的方向的极限。下面从几何上解释下:

image-20191230221754024

左图中从内部的路径都会有任意的方向,而从边界逼近的路径最后的极限方向是切线。

切锥与可行方向集有如下的性质:

  1. TC(x) 是闭锥;
  2. cl(FC(x))TC(x)
  3. C 为凸集,则 FC(x),TC(x) 都是凸集;且cl(FC(x))=TC(x)

法锥与正则

法锥的定义就更抽象了:

xC中的向量, 对Rn中的向量z , 若存在序列xkC, 及zkxkx, zkz; zkTC(xk) 这样的z 成为法向量, 集体成为Cx处的法锥(normal cone),记做 NC(x)

在逼近x的路径上,有一个序列总在他切锥的极锥中, 那这个序列最终收敛的方向及时他的法方向;

若有 NC(x)=TC(x) 则称Cx 处是正则的或规范的;下面是一个几何例子:

image-20191230223420687

次梯度与次微分

在凸函数不可微的情况下,可用次梯度替代梯度,类似的也可以建立相应的最优性条件;

definition: 次梯度

f:Rn(,] 为正常凸函数, 且xdomf 若向量g 满足: f(z)f(x)+gT(zx), zRn 则称gfx 处的次梯度;

可以看处上述定义就是可微凸函数的一阶条件。从几何上看,h(z)=f(x)+gT(zx) 就是在x处的一个支撑超平面,函数的上图epi(f) 被包含在他的闭半空间中;

Theorem 次梯度唯一性

f在点x处可微, 则f(x)x处唯一的次梯度;

definition: 次微分

函数fx处的次梯度的全体成为fx处的次微分; f={gRn| f(z)f(x)+gT(xz), zRn}f不是空集,则称fx处是可微分的。

我们约定:

对所有不在定义域的x, 其次微分f(x) 为空集;

次微分是一系列闭半空间的交集,所以是闭凸集;

次梯度仅针对正常函数有定义,非正常函数无次梯度;

example:

image-20191231092108112

凸函数最优性充要条件

Theorem:

f(x):CR 为凸函数,且对xRn , 有f(x) 非空,则ˉx 为局部极小点的充分必要条件是: \bold0f(\boldˉx)

示性函数次微分

δC(x)={0if xCotherwise

对示性函数求次微分:

xC 时,δC(x)=\empty, 若xC ,g 为示性函数的次梯度,可以求出: δC(x)={g|gT(zx)0, zC} 可以看出示性函数的次微分就是Cx 处的法锥 NC(x)

image-20191231094221794

最优性条件

凸函数fRn 上取得最小解的充要条件是0f(x), 现在来把该最优性条件推广到一般有约束的优化问题;

Theorem: 一般最优性条件:

XRn 的非空凸子集, 若ri(dom(f))ri(X)\empty, 则xfX 上的极小点当且仅当:  \boldgf(x)\boldgT(xx)0, xX 成立,即\boldgNX(x)

这个一般性结论也不难证明:

proof:

该优化问题等价于: minimize f(x)+δX(x),s.t. xRn x 是该问题最优解当且仅当: 0(f+δX)(x)=f(x)+δX(x)=f(x)+NX(x) 既有 gNX(x)

Reference

  • 老师的课件
  • 《Convex Theory 3rd》