欢迎您访问 最编程 本站为您分享编程语言代码，编程技术文章！

热门搜索/Hot Search

您现在的位置是： 首页

重新参数化技术细节

最编程 2024-06-03 22:56:31
...

正态分布标准化

对于一个服从高斯分布的随机变量x∼N(μ,σ2)x \sim \mathcal N(\mu,\sigma^2)，计算其均值μ\mu和标准差σ\sigma。

其概率密度函数：

f(x)=12πσ2e−(x−μ)22σ2f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}

所谓“标准正态分布”，就是取 μ=0\mu=0 一般 σ2=1\sigma^2=1 正态分布给出的。

其概率密度函数：

f(x)=12πe−x22f(x) =\frac{1}{\sqrt{2 \pi}} e^{\frac{-x^2} 2}

对于任意一个正态分布的概率密度函数积分：

∫f(x)dx=∫12πσ2e−(x−μ)22σ2dx=∫1σ2πe−12(x−μσ)2dx=∫12πe−12(x−μσ)2d(x−μσ)\begin{aligned} \int f(x) \mathrm d x &= \int \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2 \sigma^2}} \mathrm dx \\ &= \int \frac {1}{\sigma \sqrt {2\pi}}e^{-\frac 1 2 \left( \frac{x-\mu}{\sigma} \right)^2} \mathrm d x \\ &= \int \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2} \mathrm d\left(\frac{x-\mu}{\sigma}\right) \end{aligned}

令z=x−μσz = \frac{x-\mu}{\sigma}，上边公式就变成了：

∫12πe−z22dz\int \frac{1}{\sqrt{2 \pi}} e^{-\frac{z^2}{2}} \mathrm dz

所以我们可以得到新的随机变量z=x−μσz = \frac{x-\mu}{\sigma}，符合标准正态分布。

所以对于一个服从高斯分布的随机变量x∼N(μ,σ2)x \sim \mathcal N(\mu,\sigma^2)，取z=x−μσz = \frac{x - \mu}{\sigma}即可将其转化为标准高斯分布z∼N(0,1)z \sim \mathcal N(0,1)。

VAE中的参数重整化

VAE原文：Thesis.pdf (uva.nl)

image.png

原来我们要从潜变量空间上随机采样一个值，就相当于从qϕ(z∣x)=N(μ,σ2)\mathrm{q}_\phi(\mathbf{z} | \mathbf{x}) = \mathcal{N}\left(\mu, \sigma^2\right)中直接取z\mathbf z。

这样在反向传播过程中，“随机”这个过程是不可微的，因此无法使用梯度下降更新网络参数。因此我们需要将z\mathbf z的产生变成一个确定过程。

借助正态分布标准化，取ϵ=z−μσ\epsilon = \frac{\mathbf z-\mu}{\sigma}，我们可以知道ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, \boldsymbol{I})，现在z=μ+ϵ×σ\mathbf z=\mu+\epsilon \times \sigma。

标准化之后，还是用的qϕ(z∣x)\mathrm{q}_\phi(\mathbf{z} | \mathbf{x})的μ\mu和σ\sigma，但是z\mathbf z从qϕ(z∣x)=N(μ,σ2)\mathrm{q}_\phi(\mathbf{z} | \mathbf{x}) = \mathcal{N}\left(\mu, \sigma^2\right)

上一篇： SPSS 教程 | PROCESS 中介和调节效应分析

下一篇： 量化投资_TB交易开拓者 A函数和Q函数的常见组合应用

推荐阅读