导数与微分

导数的含义

在深度学习中，导数的含义为：对于模型中的每一个参数，如果我们对这个参数增加或者减少一个无穷小的量，可以观察到损失函数如何相应地快速增加或减少，从而对该参数对模型性能的影响程度有一个度量的标准。

数学定义

导数的数学定义表述为：
$$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}$$

若函数 $f$ 在点 $a$ 处的导数存在，我们便称函数 $f$ 在 $a$ 处可微。这里的导数 $f^{\prime }(x)$ 表示函数 $f(x)$ 关于其变量 $x$ 的瞬时变化速率。

常用函数微分

以下是一些常用函数的微分操作描述：

• $C^{\prime }=\frac{dC}{dx}=0$（$C$ 是常数）
• ${x^n}^{\prime }=\frac{d{x}^n}{dx}=n{x}^{n-1}$
• ${e^x}^{\prime }=\frac{d{e}^x}{dx}=e^x$
• $ln(x{)}^{\prime }=\frac{1}{x}$

常用微分法则

• 常数相乘法则：
  $$\frac{d}{dx}[Cf(x)]=C\frac{d}{dx}f(x)$$
• 加法法则：
  $$\frac{d}{dx}[f(x)+g(x)]=\frac{d}{dx}f(x)+\frac{d}{dx}g(x)$$
• 乘法法则：
  $$\frac{d}{dx}[f(x)g(x)]=f(x)\frac{d}{dx}[g(x)]+g(x)\frac{d}{dx}[f(x)]$$
• 除法法则：
  $$\frac{d}{dx}[\frac{f(x)}{g(x)}]=\frac{g(x)\frac{d}{dx}[f(x)]-f(x)\frac{d}{dx}[g(x)]}{[g(x){]}^2}$$

Python 实现

$e.g.$ 定义一个函数 $u=f(x)=3x^2-4x$ 以及其导数；

# 函数表达式
def f(x):
    return 3 * x ** 2 - 4 * x

# 导数表达式
def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h

---

深度学习三大数学基础 - 微积分（上）导数与微分；
下一节博文内容：深度学习数学基础 - 微积分（下），包含偏导数、梯度和链式法则。

2024.2.14