深入解析人工智能数学基础(三)中的数学优化技术
数学优化
数学优化(Mathematical Optimization)问题,也叫最优化问题,是指在一定约束条件下,求解一个目标函数的最大值(或最小值)问题.数学优化问题的定义为:给定一个目标函数(也叫代价函数)???? ∶ ???? → ℝ,寻找一个变量(也叫参数)????∗ ∈ ???? ⊂ ????,使得对于所有 ???? 中的 ????,都满足????(????∗ ) ≤ ????(????)(最小化);或者????(????∗ ) ≥ ????(????)(最大化),其中???? 为变量????的约束集,也叫可行域;???? 中的变量被称为是可行解.
1. 数学优化的类型
1.1 离散优化和连续优化
根据输入变量 ???? 的值域是否为实数域,数学优化问题可以分为离散优化问题和连续优化问题.
1.1.1 离散优化问题
离散优化(Discrete Optimization)问题是目标函数的输入变量为离散变量,比如为整数或有限集合中的元素.离散优化问题主要有两个分支:
(1) 组合优化(Combinatorial Optimization):其目标是从一个有限集合中找出使得目标函数最优的元素.在一般的组合优化问题中,集合中的元素之间存在一定的关联,可以表示为图结构.典型的组合优化问题有旅行商问题、最小生成树问题、图着色问题等.很多机器学习问题都是组合优化问题,比如特征选择、聚类问题、超参数优化问题以及结构化学习(Structured Learning)中标签预测问题等.
(2) 整数规划(Integer Programming):输入变量 ???? ∈ ℤ???? 为整数向量.常见的整数规划问题通常为整数线性规划(Integer Linear Programming,ILP) .整数线性规划的一种最直接的求解方法是:1)去掉输入必须为整数的限制,将原问题转换为一般的线性规划问题,这个线性规划问题为原问题的松弛问题;2)求得相应松弛问题的解;3)把松弛问题的解四舍五入到最接近的整数.但是这种方法得到的解一般都不是最优的,因为原问题的最优解不一定在松弛问题最优解的附近.另外,这种方法得到的解也不一定满足约束条件.
离散优化问题的求解一般都比较困难,优化算法的复杂度都比较高.
1.1.2 连续优化问题
连续优化(Continuous Optimization)问题是目标函数的输入变量为连续变量???? ∈ ℝ????,即目标函数为实函数.本节后面的内容主要以连续优化为主.
1.2 无约束优化和约束优化
在连续优化问题中,根据是否有变量的约束条件,可以将优化问题分为无约束优化问题和约束优化问题.无约束优化(Unconstrained Optimization) 问题的可行域通常为整个实数域???? = ℝ????,可以写为
min ???? ????(????),
其中???? ∈ ℝ???? 为输入变量,???? ∶ ℝ???? → ℝ为目标函数.
约束优化(Constrained Optimization)问题中变量????需要满足一些等式或不等式的约束.约束优化问题通常使用拉格朗日乘数法来进行求解.
1.3 线性优化和非线性优化
如果在公式 (C.1) 中,目标函数和所有的约束函数都为线性函数,则该问题为线性规划(Linear Programming)问题.相反,如果目标函数或任何一个约束函数为非线性函数,则该问题为非线性规划(Nonlinear Programming)问题.在非线性优化问题中,有一类比较特殊的问题是凸优化(Convex Optimization)问题.在凸优化问题中,变量 ???? 的可行域为凸集(Convex Set),即对于集合中任意两点,它们的连线全部位于集合内部.目标函数 ???? 也必须为凸函数,即满足
凸优化问题是一种特殊的约束优化问题,需满足目标函数为凸函数,并且等式约束函数为线性函数,不等式约束函数为凸函数.
2. 优化算法
优化问题一般都可以通过迭代的方式来求解:通过猜测一个初始的估计????0,然后不断迭代产生新的估计 ????1 , ????2 , ⋯ ????????,希望 ???????? 最终收敛到期望的最优解 ????∗.
一个好的优化算法应该是在一定的时间或空间复杂度下能够快速准确地找到最优解.同时,好的优化算法受初始猜测点的影响较小,通过迭代能稳定地找到最优解????∗ 的邻域,然后迅速收敛于????∗.
优化算法中常用的迭代方法有线性搜索和置信域方法等.线性搜索的策略是寻找方向和步长,具体算法有梯度下降法、牛顿法、共轭梯度法等.
2.1 全局最小解和局部最小解
对于很多非线性优化问题,会存在若干个局部最小值(Local Minima),其对应的解称为局部最小解(Local Minimizer). 局部最小解????∗ 定义为:存在一个???? > 0,对于所有的满足‖???? − ????∗‖ ≤ ???? 的????,都有 ????(????∗ ) ≤ ????(????).也就是说,在????∗的邻域内,所有的函数值都大于或者等于????(????∗).对于所有的 ???? ∈ ????,都有 ????(????∗ ) ≤ ????(????) 成立,则 ????∗ 为全局最小解(Global Minimizer).
求局部最小解一般是比较容易的,但很难保证其为全局最小解.对于线性规划或凸优化问题,局部最小解就是全局最小解.
要确认一个点 ????∗ 是否为局部最小解,通过比较它的邻域内有没有更小的函数值是不现实的.如果函数????(????)是二次连续可微的,我们可以通过检查目标函数在点????∗ 的梯度∇????(????∗)和Hessian矩阵∇2????(????∗)来判断.
证明*.* 如果函数 ????(????) 是连续可微的,根据泰勒公式(Taylor’s Formula),函数????(????)的一阶展开可以近似为
假设∇????(????∗ ) ≠ 0,则可以找到一个 Δ????(比如 Δ???? = −????∇????(????∗),???? 为很小的正数),使得
这和局部最小的定义矛盾.
函数 ????(????) 的一阶偏导数为 0 的点也称为驻点(Stationary Point)或临界点(Critical Point).驻点不一定为局部最小解.
证明*.* 如果函数????(????)是二次连续可微的,函数????(????)的二阶展开可以近似为
由一阶必要性定理可知∇????(????∗ ) = 0,则
即∇2????(????∗)为半正定矩阵.
2.2 梯度下降法
梯度下降法(Gradient Descent Method),也叫作最速下降法(Steepest Descend Method),经常用来求解无约束优化的最小值问题.
对于函数????(????),如果????(????)在点???????? 附近是连续可微的,那么????(????)下降最快的方向是 ????(????)在???????? 点的梯度方法的反方向.
根据泰勒一阶展开公式,有
要使得 ????(????????+1) < ????(????????),就得使 Δ????T∇????(???????? ) < 0.我们取Δ???? = −????∇????(????????).如果???? > 0为一个够小数值时,那么 ????(????????+1) < ????(????????)成立.
这样我们就可以从一个初始值????0 出发,通过迭代公式
生成序列 ????0 , ????1 , ????2, ⋯ 使得
如果顺利的话,序列 (????????)收敛到局部最小解????∗.注意,每次迭代步长 ???? 可以改变,但其取值必须合适,如果过大就不会收敛,如果过小则收敛速度太慢.梯度下降法的过程如图C.1所示.曲线是等高线(水平集),即函数???? 为不同常数的集合构成的曲线.红色的箭头指向该点梯度的反方向(梯度方向与通过该点的等高线垂直).沿着梯度下降方向,将最终到达函数???? 值的局部最小解.
梯度下降法为一阶收敛算法,当靠近局部最小解时梯度变小,收敛速度会变慢,并且可能以“之字形”的方式下降.如果目标函数为二阶连续可微,我们可以采用牛顿法.牛顿法(Newton’s method)为二阶收敛算法,收敛速度更快,但是每次迭代需要计算Hessian矩阵的逆矩阵,复杂度较高.相反,如果我们要求解一个最大值问题,就需要向梯度正方向迭代进行搜索,逐渐接近函数的局部最大解,这个过程则被称为梯度上升法(Gradient Ascent Method).
3. 拉格朗日乘数法与KKT条件
拉格朗日乘数法(Lagrange Multiplier) 是一种有效求解约束优化问题的优化方法.
约束优化问题可以表示为
其中ℎ????(????)为等式约束函数,????????(????)为不等式约束函数.????的可行域为
其中dom(????)是函数???? 的定义域.
3.1 等式约束优化问题
如果公式(C.10)中只有等式约束,我们可以构造一个拉格朗日函数Λ(????, ????)
其中 ???? 为拉格朗日乘数,可以是正数或负数.如果 ????(????∗) 是原始约束优化问题的局部最优值,那么存在一个????∗ 使得(????∗ , ????∗)为拉格朗日函数Λ(????, ????)的驻点.因此,只需要令 ????Λ(????,????)/????????= 0和 ????Λ(????,????)/????????= 0,得到
上面方程组的解即为原始问题的可能解.因为驻点不一定是最小解,所以在实际应用中需根据具体问题来验证是否为最小解.
拉格朗日乘数法是将一个有????个变量和???? 个等式约束条件的最优化问题转换为一个有 ???? + ???? 个变量的函数求驻点的问题.拉格朗日乘数法所得的驻点会包含原问题的所有最小解,但并不保证每个驻点都是原问题的最小解.
3.2 不等式约束优化问题
对于公式(C.10)中定义的一般约束优化问题,其拉格朗日函数为
其中???? = [????1 , ⋯ , ????????]T 为等式约束的拉格朗日乘数,???? = [????1 , ⋯ , ???????? ]T 为不等式约束的拉格朗日乘数.
当约束条件不满足时,有 max????,???? Λ(????, ????, ????) = ∞;当约束条件满足时并且???? ≥ 0时,max????,???? Λ(????, ????, ????) = ????(????).因此,原始约束优化问题等价于
这个min-max优化问题称为主问题(Primal Problem).
对偶问题 主问题的优化一般比较困难,我们可以通过交换 min-max 的顺序来简化.定义拉格朗日对偶函数为
Γ(????, ????)是一个凹函数,即使????(????)是非凸的. 当???? ≥ 0时,对于任意的 ̃ ???? ∈ ????,有
令????∗ 是原问题的最优值,则有
即拉格朗日对偶函数Γ(????, ????)为原问题最优值的下界.
优化拉格朗日对偶函数 Γ(????, ????) 并得到原问题的最优下界,称为拉格朗日对偶问题(Lagrange Dual Problem).
拉格朗日对偶函数为凹函数,因此拉格朗日对偶问题为凸优化问题.
令????∗ 表示拉格朗日对偶问题的最优值,则有????∗ ≤ ????∗,这个性质称为弱对偶性(Weak Duality).如果????∗ = ????∗,这个性质称为强对偶性(Strong Duality).
当强对偶性成立时,令????∗ 和????∗, ????∗ 分别是原问题和对偶问题的最优解,那么它们满足以下条件:
这 5 个条件称为不等式约束优化问题的KKT 条件(Karush-Kuhn-Tucker Condition).KKT 条件是拉格朗日乘数法在不等式约束优化问题上的泛化.当原问题是凸优化问题时,满足KKT条件的解也是原问题和对偶问题的最优解. 在KKT条件中,需要关注的是公式(C.26),称为互补松弛(ComplementarySlackness)条件.如果最优解 ????∗ 出现在不等式约束的边界上 ????????(????) = 0,则????∗???? > 0;如果最优解????∗ 出现在不等式约束的内部????????(????) < 0,则????∗???? = 0.互补松弛条件说明当最优解出现在不等式约束的内部,则约束失效.
上一篇: 极限问题与取整函数相关
下一篇: 使用贪心法解决绝对值不等式问题
推荐阅读
-
F#探险之旅(二):函数式编程(上)-函数式编程范式简介 F#主要支持三种编程范式:函数式编程(Functional Programming,FP)、命令式编程(Imperative Programming)和面向对象(Object-Oriented,OO)的编程。回顾它们的历史,FP是最早的一种范式,第一种FP语言是IPL,产生于1955年,大约在Fortran一年之前。第二种FP语言是Lisp,产生于1958,早于Cobol一年。Fortan和Cobol都是命令式编程语言,它们在科学和商业领域的迅速成功使得命令式编程在30多年的时间里独领风骚。而产生于1970年代的面向对象编程则不断成熟,至今已是最流行的编程范式。有道是“*代有语言出,各领风骚数十年”。 尽管强大的FP语言(SML,Ocaml,Haskell及Clean等)和类FP语言(APL和Lisp是现实世界中最成功的两个)在1950年代就不断发展,FP仍停留在学院派的“象牙塔”里;而命令式编程和面向对象编程则分别凭着在商业领域和企业级应用的需要占据领先。今天,FP的潜力终被认识——它是用来解决更复杂的问题的(当然更简单的问题也不在话下)。 纯粹的FP将程序看作是接受参数并返回值的函数的集合,它不允许有副作用(side effect,即改变了状态),使用递归而不是循环进行迭代。FP中的函数很像数学中的函数,它们都不改变程序的状态。举个简单的例子,一旦将一个值赋给一个标识符,它就不会改变了,函数不改变参数的值,返回值是全新的值。 FP的数学基础使得它很是优雅,FP的程序看起来往往简洁、漂亮。但它无状态和递归的天性使得它在处理很多通用的编程任务时没有其它的编程范式来得方便。但对F#来说这不是问题,它的优势之一就是融合了多种编程范式,允许开发人员按照需要采用最好的范式。 关于FP的更多内容建议阅读一下这篇文章:Why Functional Programming Matters(中文版)。F#中的函数式编程 从现在开始,我将对F#中FP相关的主要语言结构逐一进行介绍。标识符(Identifier) 在F#中,我们通过标识符给值(value)取名字,这样就可以在后面的程序中引用它。通过关键字let定义标识符,如: let x = 42 这看起来像命令式编程语言中的赋值语句,两者有着关键的不同。在纯粹的FP中,一旦值赋给了标识符就不能改变了,这也是把它称为标识符而非变量(variable)的原因。另外,在某些条件下,我们可以重定义标识符;在F#的命令式编程范式下,在某些条件下标识符的值是可以修改的。 标识符也可用于引用函数,在F#中函数本质上也是值。也就是说,F#中没有真正的函数名和参数名的概念,它们都是标识符。定义函数的方式与定义值是类似的,只是会有额外的标识符表示参数: let add x y = x + y 这里共有三个标识符,add表示函数名,x和y表示它的参数。关键字和保留字关键字是指语言中一些标记,它们被编译器保留作特殊之用。在F#中,不能用作标识符或类型的名称(后面会讨论“定义类型”)。它们是: abstract and as asr assert begin class default delegate do donedowncast downto elif else end exception extern false finally forfun function if in inherit inline interface internal land lazy letlor lsr lxor match member mod module mutable namespace new nullof open or override private public rec return sig static structthen to true try type upcast use val void when while with yield 保留字是指当前还不是关键字,但被F#保留做将来之用。可以用它们来定义标识符或类型名称,但编译器会报告一个警告。如果你在意程序与未来版本编译器的兼容性,最好不要使用。它们是: atomic break checked component const constraint constructor continue eager event external fixed functor global include method mixinobject parallel process protected pure sealed trait virtual volatile 文字值(Literals) 文字值表示常数值,在构建计算代码块时很有用,F#提供了丰富的文字值集。与C#类似,这些文字值包括了常见的字符串、字符、布尔值、整型数、浮点数等,在此不再赘述,详细信息请查看F#手册。 与C#一样,F#中的字符串常量表示也有两种方式。一是常规字符串(regular string),其中可包含转义字符;二是逐字字符串(verbatim string),其中的(")被看作是常规的字符,而两个双引号作为双引号的转义表示。下面这个简单的例子演示了常见的文字常量表示: let message = "Hello World"r"n!" // 常规字符串let dir = @"C:"FS"FP" // 逐字字符串let bytes = "bytes"B // byte 数组let xA = 0xFFy // sbyte, 16进制表示let xB = 0o777un // unsigned native-sized integer,8进制表示let print x = printfn "%A" xlet main = print message; print dir; print bytes; print xA; print xB; main Printf函数通过F#的反射机制和.NET的ToString方法来解析“%A”模式,适用于任何类型的值,也可以通过F#中的print_any和print_to_string函数来完成类似的功能。值和函数(Values and Functions) 在F#中函数也是值,F#处理它们的语法也是类似的。 let n = 10let add a b = a + blet addFour = add 4let result = addFour n printfn "result = %i" result 可以看到定义值n和函数add的语法很类似,只不过add还有两个参数。对于add来说a + b的值自动作为其返回值,也就是说在F#中我们不需要显式地为函数定义返回值。对于函数addFour来说,它定义在add的基础上,它只向add传递了一个参数,这样对于不同的参数addFour将返回不同的值。考虑数学中的函数概念,F(x, y) = x + y,G(y) = F(4, y),实际上G(y) = 4 + y,G也是一个函数,它接收一个参数,这个地方是不是很类似?这种只向函数传递部分参数的特性称为函数的柯里化(curried function)。 当然对某些函数来说,传递部分参数是无意义的,此时需要强制提供所有参数,可是将参数括起来,将它们转换为元组(tuple)。下面的例子将不能编译通过: let sub(a, b) = a - blet subFour = sub 4 必须为sub提供两个参数,如sub(4, 5),这样就很像C#中的方法调用了。 对于这两种方式来说,前者具有更高的灵活性,一般可优先考虑。 如果函数的计算过程中需要定义一些中间值,我们应当将这些行进行缩进: let halfWay a b = let dif = b - a let mid = dif / 2 mid + a 需要注意的是,缩进时要用空格而不是Tab,如果你不想每次都按几次空格键,可以在VS中设置,将Tab字符自动转换为空格;虽然缩进的字符数没有限制,但一般建议用4个空格。而且此时一定要用在文件开头添加#light指令。作用域(Scope)作用域是编程语言中的一个重要的概念,它表示在何处可以访问(使用)一个标识符或类型。所有标识符,不管是函数还是值,其作用域都从其声明处开始,结束自其所处的代码块。对于一个处于最顶层的标识符而言,一旦为其赋值,它的值就不能修改或重定义了。标识符在定义之后才能使用,这意味着在定义过程中不能使用自身的值。 let defineMessage = let message = "Help me" print_endline message // error 对于在函数内部定义的标识符,一般而言,它们的作用域会到函数的结束处。 但可使用let关键字重定义它们,有时这会很有用,对于某些函数来说,计算过程涉及多个中间值,因为值是不可修改的,所以我们就需要定义多个标识符,这就要求我们去维护这些标识符的名称,其实是没必要的,这时可以使用重定义标识符。但这并不同于可以修改标识符的值。你甚至可以修改标识符的类型,但F#仍能确保类型安全。所谓类型安全,其基本意义是F#会避免对值的错误操作,比如我们不能像对待字符串那样对待整数。这个跟C#也是类似的。 let changeType = let x = 1 let x = "change me" let x = x + 1 print_string x 在本例的函数中,第一行和第二行都没问题,第三行就有问题了,在重定义x的时候,赋给它的值是x + 1,而x是字符串,与1相加在F#中是非法的。 另外,如果在嵌套函数中重定义标识符就更有趣了。 let printMessages = let message = "fun value" printfn "%s" message; let innerFun = let message = "inner fun value" printfn "%s" message innerFun printfn "%s" message printMessages 打印结果: fun value inner fun valuefun value 最后一次不是inner fun value,因为在innerFun仅仅将值重新绑定而不是赋值,其有效范围仅仅在innerFun内部。递归(Recursion)递归是编程中的一个极为重要的概念,它表示函数通过自身进行定义,亦即在定义处调用自身。在FP中常用于表达命令式编程的循环。很多人认为使用递归表示的算法要比循环更易理解。 使用rec关键字进行递归函数的定义。看下面的计算阶乘的函数: let rec factorial x = match x with | x when x < 0 -> failwith "value must be greater than or equal to 0" | 0 -> 1 | x -> x * factorial(x - 1) 这里使用了模式匹配(F#的一个很棒的特性),其C#版本为: public static long Factorial(int n) { if (n < 0) { throw new ArgumentOutOfRangeException("value must be greater than or equal to 0"); } if (n == 0) { return 1; } return n * Factorial (n - 1); } 递归在解决阶乘、Fibonacci数列这样的问题时尤为适合。但使用的时候要当心,可能会写出不能终止的递归。匿名函数(Anonymous Function) 定义函数的时候F#提供了第二种方式:使用关键字fun。有时我们没必要给函数起名,这种函数就是所谓的匿名函数,有时称为lambda函数,这也是C#3.0的一个新特性。比如有的函数仅仅作为一个参数传给另一个函数,通常就不需要起名。在后面的“列表”一节中你会看到这样的例子。除了fun,我们还可以使用function关键字定义匿名函数,它们的区别在于后者可以使用模式匹配(本文后面将做介绍)特性。看下面的例子: let x = (fun x y -> x + y) 1 2let x1 = (function x -> function y -> x + y) 1 2let x2 = (function (x, y) -> x + y) (1, 2) 我们可优先考虑fun,因为它更为紧凑,在F#类库中你能看到很多这样的例子。 注意:本文中的代码均在F# 1.9.4.17版本下编写,在F# CTP 1.9.6.0版本下可能不能通过编译。 F#系列随笔索引页面
-
深入解析人工智能数学基础(三)中的数学优化技术
-
机器学习中的最速下降法——深入解析梯度下降法的数学基础