指数分布族

从标题上看，是“指数分布族(exponential family)”，不是“指数分布(exponential distribution)”，这是两个不同的概念，不要弄混了。指数分布族在上世纪30年代中期被提出，在概率论和统计学中，它是一些有着特殊形式的概率分布的集合，包括许多常用的分布，如正态分布、指数分布、伯努利分布、泊松分布、gamma分布、beta分布等等。指数分布族为很多重要而常用的概率分布提供了统一框架，这种一般性有助于表达的方便和从更大的宏观尺度上理解这些分布。

下面我们用一个重要分布的例子来说明下指数分布族。假设有一个正态分布，均值为0，服从 X−N(0,σ2) ，则其概率密度函数PDF为：

这个概率密度函数由一个参数 σ 来定义。我们可以把该式子作如下变形：

令： h(x)=12π√ ， η(σ)=−12σ2 ， T(x)=x2 ， A(σ)=logσ ；则上式可以用如下的形式表达：

我们把参数一般化为 θ ，则上式为：

这就是指数分布族的概率密度函数PDF或概率质量函数PMF的通用表达式框架。

分布函数框架中的 h(x) , η(θ) , T(x) 和 A(θ) 并不是任意定义的，每一部分都有其特殊的意义。
θ 是自然参数(natural parameter)，通常是一个实数；
h(x) 是底层观测值（underlying measure）；
T(x) 是充分统计量（sufficient statistic）；
A(θ) 被称为对数规则化（log normalizer）。
为什么被称为对数规则化，和对数有什么关系？我们把上式作以下变形：