MLE详解：最大似然估计方法

最编程 2024-07-25 15:37:32

...

要了解什么是最大似然估计，就要知道什么是似然

似然 likelihood：

抛硬币实验中，似然就是特定序列的概率。
$L(\theta) = \theta^{N_H} (1 - \theta)^{N_T}$
⚠️注意：没有二项分布的C n r 系数，即没有 $\binom{n}{k}$
其中似然 $L(\theta)$ 是自变量为 $\theta$ 的函数。 $N_H$ 表示Number of Head， $N_T$ 表示Number of Tail。也就是说，似然是一组特定的硬币正反面序列的概率。假设一共扔了50次硬币，其中30次是正，20次是反，这个序列为 {正，正，反，反，... ，反，正}，该序列是确定的，但由于要写50次，所以此处省略中间部分，重点是，这个序列是唯一的已经发生的，所以没有二项分布的C n r 系数（n 次实验，r 次为正）。此时，自变量 $\theta$ 是我们要求的，未知的。如何求 $\theta$ 呢？

首先 $\theta$ 是一个概率，所以 $0<\theta<1$ ，那么可以用 brute force 逐个尝试，下图中的绿色部分标出的数字是 $\theta$ ，红色框出来的是概率最大的尝试，也就是目前5次尝试中最好的一次：

暴力尝试$\theta$

图中的计算使用online calculator desmos

也就是说，一共50次实验，得到30个正，20个反，经过尝试不同的 $\theta$ 得出：当 $\theta=0.6$ 时，可能性（概率）最大。其实小学的时候我们学过用频次解这种题，即，正面次数除以总实验次数，30/50=0.6。

总结：In the coin example, the likelihood is the probability of the happened specific sequence of H’s and T’s being generated. 也就是说，Likelihood 就是当参数未知时，某次实验发生的概率。参数是事先假设的分布的参数，因为抛硬币这种实验非正即反，所以使用伯努利分布。如果是学校学生的身高，就用正态分布，大多数同学都差不多高，很高和很矮的同学都比较少。

P(Data|θ)：假设观测的数据 Data 服从某种分布；Data 已知，θ 未知，函数 P(Data|θ) 被称为似然。
例如：抛硬币实验，因为只有正反两面，结果非正即反，所以假设为二项分布 Binomial distribution（即，多次伯努利分布 Bernoulli Distribution），当然要假设成其他分布也可以，只是可能最终结果没有假设为二项分布的效果好。