关于假设检验

前面写了一个参数估计，现在也顺便把假设检验也总结一下吧，主要参考书还是那本《概率论与数理统计》(陈希孺)。

假设检验就是提出一个命题，根据样本判断对错。 ###问题提法 有一个已知分布的总体，其中个别参数未知。现在抽取的一组样本$X_1,X_2,\cdots,X_n$，并针对该未知参数而提出一个命题(命题正确与否完全由该未知参数决定)，称为原假设$H_0$，其否定称为备择假设或对立假设$H_1$；任务是：提出一个检验$\Phi$，并根据此检验，判断接受原命题还是备择命题。

检验$\Phi$是一个判断准则，对于一个问题，可以提出许多种检验。

例：原来一种产品质量指标符合正态分布$N(\mu_1,\sigma^2)$，经过工艺改进后其均值可能有提高(设为$\mu_2$)，为验证是否提高，现在抽出样本$X_1,\cdots,X_n$；原假设$H_0:{\mu_2\geqslant\mu_1}$，备择假设$H_1:{\mu_2<\mu_1}$；提出检验$\Phi$：若$\hat{X}\geqslant C$则接受原命题，否则拒绝原命题，$C$为某待定常数。

按上面所说，接受$H_0$与否，取决于抽到的样本如何。所谓接受域是这样一个集合$$A={(X_1,\cdots,X_n)|使得H_0成立}$$拒绝域是这样一个集合$$B={(X_1,\cdots,X_n)|使得H_0'成立}$$

###功效函数和两类错误 因为检验可以有很多种，同一个样本，在不同的检验下，会得出不同的结论，检验之间自然也存在着优劣之分。标志着某检验的效能的量叫做某检验的功效函数。

定义：设总体的未知参数为$\lambda$，则$\beta_\Phi(\lambda)=P_{\lambda}(根据\Phi拒绝H_0)$为检验$\Phi$的功效函数。

在功效函数的定义中，概率$P(\cdot)$的下标$\lambda$表示的意思是：令总体的未知参量为某$\lambda$值时，抽取样本，根据检验$\Phi$分析样本后拒绝原假设的概率。也就是说某检验的功效函数是系统未知参量的函数，功效函数等于被原假设被拒绝的概率。

并非单纯地功效函数越大，检验就越优。这里要分情况考虑：由于$H_0$正确与否完全取决于系统未知参数的值，所以对于所有使得$H_0$成立的参数的值，我们希望我们的检验拒绝$H_0$的概率越低越好(功效函数尽量小)；反过来，对于所有使得$H_1$成立的参数的值，我们希望我们的检验拒绝$H_0$的概率越高越好(功效函数尽量大)。 上图中，$H_0:\lambda<0$，$H_1:\lambda\geqslant0$，在$\lambda<0$时应该接受原假设，所以一个更优的检验的功效函数应该具有更小的值；同理在$\lambda\geqslant0$时，一个更优的检验的功效函数应该具有更大的值，所以上图中检验$\Phi_1$比检验$\Phi_2$更优。

由上图可见，即使选择了一个非常优秀的检验，也可能在不该拒绝的时候拒绝，在不该接受的时候接受。所谓第一类错误指的是：$H_0$正确但检验拒绝了它；第二类错误指的是：$H_0$错误，但检验接受了它。在上图中的反应就是，在区间$[-\infty,0_-]$上，功效函数要始终值很小才能尽量避免第一类错误，在区间$[0_+,+\infty]$上，功效函数应该值始终很大才能尽量避免第二类错误。

想同时处理好这两类错误是不可能的：观察$\lambda=0$处取值$\beta_\Phi(\lambda)|{\lambda=0}$记为$s$，因为功效函数是连续的，如果$s$太大，则在$0-$附近，第一类错误出现的概率会增大；如果$s$太小，则在$0_+$附近，第二类错误出现的概率会增大。换句话说，要求同时处理好这两类错误，就等于要求功效函数在区间$[0_-,0_+]$上是急增长的，而这是不可能的。

所以一般处理方法的思想是，先令第一类错误概率不超过某个确定的小量$\alpha$，再调节第二类错误概率使其尽量低。

定义：设$\Phi$是原假设$H_0$的一个检验，$\beta_\Phi(\lambda_1,\cdots,\lambda_k)$为其功效函数，$\alpha\in[0,1]$是一个常数，如果对于任意$(\lambda_1,\cdots,\lambda_k)\in H_0$满足$$\beta_\Phi(\lambda_1,\cdots,\lambda_k)\leqslant\alpha$$则称$\Phi$为$H_0$的一个水平为$\alpha$的检验。

*如果有检验$\Phi$，水平为$\alpha$，且对于任何一个其他的水平同为$\alpha$的检验$\Psi$都有$$\beta_\Phi(\lambda_1,\cdots,\lambda_k)\geqslant\beta_\Psi(\lambda_1,\cdots,\lambda_k), \forall(\lambda_1,\cdots,\lambda_k)\in H_0'$$则称检验$\Phi$是水平$\alpha$的一致最优检验。很多情况下，一致最优检验是不存在的。 ###正态总体的参数检验 ####总体方差$\sigma^2$已知，检验总体均值$\mu$

例题：设$X_1,\cdots,X_n$是来自正态总体$N(\mu,\sigma^2)$的样本，其中$\sigma^2$已知，提出假设如下($\mu_0$是一个常数)$H_0:\mu\geqslant\mu_0$，$H_1:\mu<\mu_0$

提出检验$\Phi:当\bar{X}\geqslant C$时接受原假设，否则拒绝. 考虑功效函数$$\beta_{\Phi}(\mu)=P_\mu(\bar{X}<C)=P_\mu(\sqrt{n}(\bar{X}-\mu)/\sigma<\sqrt{n}(C-\mu)/\sigma)$$另一方面$\sqrt{n}(\bar{X}-\mu)/\sigma\sim N(0,1)$，以$\Psi(\cdot)$记其累积分布函数CDF，根据CDF的意义，可以得出$$\beta_{\Phi}(\mu)=\Psi(\sqrt{n}(C-\mu)/\sigma)$$它是$\mu$的减函数。控制第一类错误的概率不超过$\alpha=0.05$可以表达为：对$\mu\geqslant\mu_0$，$\beta_{\Phi}(\mu)<\alpha$，因为是减函数，只需令$\beta_{\Phi}(\mu_0)=\alpha$即可，也就是说，令$\sqrt{n}(C-\mu_0)/\sigma=\mu_{1-\alpha}=-\mu_\alpha$即可($\mu_{1-\alpha}$表示分位点)。解出$C=\mu_0-\sigma\mu_\alpha/\sqrt{n}$.

这样，检验$\Phi$就满足了第一类错误概率小于$\alpha=0.05$，至于第二类错误，如果要求第二类错误概率一律低于$\beta=0.05$，则这是不可能的：已经限制了$\beta_{\Phi}(\mu_{0+})=\alpha=0.05$，不可能再限制$\beta_{\Phi}(\mu_{0-})\geqslant1-\beta=0.95$. 所以要处理第二类错误，只能放宽要求：对某个指定的$\mu_0'<\mu_0$，有$\beta_{\Phi}(\mu_0')\geqslant1-\beta$.

这就要求(因为$\beta_{\Phi}(\mu)$是单减的)$$\beta_{\Phi}(\mu_0')=\Psi(\sqrt{n}(C-\mu_0')/\sigma)=1-\beta$$代入上面求的常数$C$，可得(设$\mu_\beta$是另一个分位点)$$\Psi\left(\frac{\sqrt{n}(\mu_0-\mu_0')}{\sigma}-\mu_\alpha\right)=1-\beta\Rightarrow\frac{\sqrt{n}(\mu_0-\mu_0')}{\sigma}-\mu_\alpha\geqslant \mu_\beta$$解不等式得出$$n\geqslant\sigma^2\frac{(\mu_\alpha+\mu_\beta)^2}{(\mu_0-\mu_0')^2}$$这就要求样本容量足够大。至此，似乎得出了一个奇怪的结论：要求第二类错误概率足够低，却推出了样本容量不能太小。实际上解释是：样本容量越大，越能反应出总体的特征，分辨率越高($\bar{X}$越精确)，从而犯第二类错误的可能性越小。 ####总体方差$\sigma^2$未知，检验总体均值$\mu$ 问题和前面一样，只不过条件换成总体的方差未知。这时提出的检验$\Phi$和上面类似，但使用样本标准差$s$代替$\sigma$，同时，把正态分布换成*度为$n-1$的$t$分布：$$\Phi:当\sqrt{n}(\bar{X}-\mu_0)/s\geqslant-t_{n-1}(\alpha)时接受H_0，否则拒绝.$$证明思路是，写出该检验的功效函数，它是$\mu$和$\sigma$的二元函数，但是当$\mu=\mu_0$时其值为$\alpha$(因为这时$\sqrt{n}(\bar{X}-\mu_0)/s$服从$t$分布)，可以分析得出，当$\mu>\mu_0$时，功效函数的值小于$\alpha$，所以只需要把$\mu=\mu_0$处作为临界值就可以了。