线性代数|机器学习-P22逐步最小化一个函数

Mit麻省理工教授视频如下：逐步最小化一个函数

1. 概述

主要讲的是无约束情况下的最小值问题。涉及到如下：

• 矩阵求导
• 泰勒公式，函数到向量的转换
• 梯度下降
• 牛顿法梯度下降

2. 泰勒公式

我们之前在高等数学中学过关于f(x)的泰勒展开如下：
定义：$\underset{x\to a}{\lim }{h}_k(x)=0$
$$\begin{array}{c}f(x)=f(a)+f^{\prime }(a)(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\cdots +\frac{f^{(k)}(a)}{k!}(x-a{)}^k+h_k(x)(x-a{)}^k\end{array}$$

• 那么我们只提取二次项，$x+\Delta x\to x;x\to a$ 可得如下：
  $$\begin{array}{c}f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{f^{\prime \prime }(x)}{2!}\Delta x^2\end{array}$$
• 上面的公式中x为标量，现在我们需要用到向量 x
• $a,b$均为1维列向量，S为对称矩阵时，我们可得得到如下：
  $$\begin{array}{c}{a}^{T}b=c,x^{T}Sx=d\to c,d均为标量\end{array}$$
• 定义如下：
  $$\begin{array}{c}x={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]}^T,f={\left[\begin{array}{cccc}{f}_1& f_2& \cdots & f_n\end{array}\right]}^T\end{array}$$
  $$\begin{array}{c}{f}^{\prime }(x)=\nabla F={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_1}& \cdots & \frac{\partial f}{\partial x_n}\end{array}\right]}^T\to f^{\prime }(x)\Delta x=(\Delta x{)}^T\nabla F(x)\end{array}$$
• $H_{jk}$为hessian matrix具有对称性
  f ′ ′ ( x ) = H j k = ∂ 2 F ∂ x j ⋅ ∂ x k → f ′ ′ ( x ) 2 ! Δ x 2 = 1 2 ( Δ x ) T H j k ( Δ x ) \begin{equation} f''(x)=H_{jk}=\frac{\partial^2F}{\partial x_j\cdot \partial x_k}\rightarrow \frac{f''(x)}{2!}\Delta x^2=\frac{1}{2}(\Delta x)^T H_{jk}(\Delta x) \end{equation} f′′(x)

  上一篇： 释放创造力：掌握 Vue 中*的技巧和灵感

  下一篇： [MySQL][表操作]详细讲解-1.创建表