正态分布的极大似然估计示例，以及详细展开方程的求解步骤
此示例是 什么是极大似然估计 中的一个例子，本文的目的是给出更加详细的方程求解步骤，便于数学基础不好的同学理解。
目标
假设我们有一组样本数据 x 1 , x 2 , … , x n x_1, x_2, \dots, x_n x1,x2,…,xn，它们来自一个正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)，我们的目标是通过极大似然估计（MLE）来找到正态分布的两个参数 μ \mu μ 和 σ 2 \sigma^2 σ2。
对数似然函数
正态分布的概率密度函数为：
f
(
x
i
∣
μ
,
σ
2
)
=
1
2
π
σ
2
exp
(
−
(
x
i
−
μ
)
2
2
σ
2
)
f(x_i | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right)
f(xi∣μ,σ2)=2πσ21exp(−2σ2(xi−μ)2)
给定样本
x
1
,
x
2
,
…
,
x
n
x_1, x_2, \dots, x_n
x1,x2,…,xn，样本的似然函数为：
L
(
μ
,
σ
2
)
=
∏
i
=
1
n
1
2
π
σ
2
exp
(
−
(
x
i
−
μ
)
2
2
σ
2
)
L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right)
L(μ,σ2)=i=1∏n2πσ21exp(−2σ2(xi−μ)2)
对似然函数取对数，得到对数似然函数：
ℓ
(
μ
,
σ
2
)
=
log
L
(
μ
,
σ
2
)
=
∑
i
=
1
n
log
(
1
2
π
σ
2
exp
(
−
(
x
i
−
μ
)
2
2
σ
2
)
)
\ell(\mu, \sigma^2) = \log L(\mu, \sigma^2) = \sum_{i=1}^n \log \left( \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right) \right)
ℓ(μ,σ2)=logL(μ,σ2)=i=1∑nlog(2πσ21exp(−2σ2(xi−μ)2))
我们可以将对数似然函数分解为三部分：
ℓ
(
μ
,
σ
2
)
=
−
n
2
log
(
2
π
)
−
n
2
log
(
σ
2
)
−
1
2
σ
2
∑
i
=
1
n
(
x
i
−
μ
)
2
\ell(\mu, \sigma^2) = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2
ℓ(μ,σ2)=−2nlog(2π)−2nlog(σ2)−2σ21i=1∑n(xi−μ)2
现在我们分别对 μ \mu μ 和 σ 2 \sigma^2 σ2 求导。
一、对 μ \mu μ 求导
首先，对
μ
\mu
μ 求导，方程中的
μ
\mu
μ 仅出现在最后一项
∑
i
=
1
n
(
x
i
−
μ
)
2
\sum_{i=1}^n (x_i - \mu)^2
∑i=1n(xi−μ)2 中，因此我们只对这一项求导：
ℓ
(
μ
,
σ
2
)
=
−
1
2
σ
2
∑
i
=
1
n
(
x
i
−
μ
)
2
\ell(\mu, \sigma^2) = -\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2
ℓ(μ,σ2)=−2σ21i=1∑n(xi−μ)2
对
μ
\mu
μ 求导：
上一篇：
Linux ssh 免费登录配置
∂
ℓ
∂
μ
=
−
1
2
σ
2
⋅
2
∑
i
=
1
n
(
x
i
−
μ
)
(
−
1
)
\frac{\partial \ell}{\partial \mu} = -\frac{1}{2\sigma^2} \cdot 2 \sum_{i=1}^n (x_i - \mu) (-1)
∂μ∂ℓ=−2σ21⋅2i=1∑