北大叉院-849统计学-2016年-解析

北大叉院-849统计学-2016年

一、(10分) 在 7 黑球 3 白球中无放回抽 2 次,求

(1)(5分) 第 2 次是白球的概率;

(2)(5分) 已知第 2 次是黑球,求第一次是黑球的概率.

Solution:
(1)
用 $W_{i}$ 表示第 $i$ 次取到的是白球, 则由全概率公式

$\begin{aligned} P\left( W_2 \right) &=P\left( W_2\mid W_1 \right) P\left( W_1 \right) +P\left( W_2\mid \bar{W}_1 \right) P\left( \bar{W}_1 \right)\\ &=\frac{2}{9}\cdot \frac{3}{10}+\frac{3}{9}\cdot \frac{7}{10}=\frac{6}{90}+\frac{21}{90}=\frac{3}{10}\\ \end{aligned}$

(2)
由乘法公式, 有

$P\left( \bar{W}_1\mid \bar{W}_2 \right) =\frac{P\left( \bar{W}_1\bar{W}_2 \right)}{P\left( \bar{W}_2 \right)}=\frac{\frac{7}{10}\cdot \frac{6}{9}}{1-\frac{3}{10}}=\frac{2}{3}$

二、(10分) $X, Y$ 服从 $\left\{x^{2}+y^{2} \leq 1\right\}$ 上的均匀分布, 求

(1)(5分) $X, Y$ 的分布;

(2)(5分) 证明 $X, Y$ 不独立.

Solution:
(1) 记 $D=\left\{x^{2}+y^{2} \leqslant 1\right\}$, 则 $S_{D}=\pi$, 于是 $(X, Y)$ 的联合密度为

$f(x, y)= \begin{cases}\frac{1}{\pi}, & (x, y) \in D \\ 0, & \text { 其他 }\end{cases}$

则 $X$ 的边际密度函数为

$f_{X}(x)=\int_{-\sqrt{1-x^{2}}}^{\sqrt{1-x^{2}}} \frac{1}{\pi} \mathrm{d} y=\frac{2 \sqrt{1-x^{2}}}{\pi},-1<x<1$

同理 $Y$ 的边际密度函数是 $f_{Y}(y)=\frac{2 \sqrt{1-y^{2}}}{\pi},-1<y<1$.
(2) 因为 $f_{X}(x) f_{Y}(y) \neq f(x, y)$, 所以 $X$ 与 $Y$ 不独立.

三、(15分) $x_{1}, \ldots, x_{n}$ i.i.d. $\sim f(x)=2 \lambda x e^{-\lambda x^{2}}, x>0,$ 求

(1)(5分) $\lambda$ 的 MLE;

(2)(5分) 讨论无偏性;

(3)(5分) 讨论相合性.

Solution:
(1)
似然函数为 $L(\lambda)=2^{n} \lambda^{n}\left(\prod_{i=1}^{n} x_{i}\right) e^{-\lambda \sum_{i=1}^{n} x_{i}^{2}}$, 取对数处理, 有

$\ln L(\lambda)=n \ln 2+n \ln \lambda+\sum_{i=1}^{n} \ln x_{i}-\lambda \sum_{i=1}^{n} x_{i}^{2}$

令 $\frac{\mathrm{d} \ln L}{\mathrm{~d} \lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n} x_{i}^{2}=0$, 解得驻点 $\hat{\lambda}=\frac{n}{\sum_{i=1}^{n} x_{i}^{2}}$. 又由于 $\frac{\mathrm{d}^{2} \ln L}{\mathrm{~d} \lambda^{2}}=-\frac{n}{\lambda^{2}}<0$, 于是所求驻点是对数似然函数的极大值点, 综上所述 $\hat{\lambda}=\frac{n}{\sum_{i=1}^{n} x_{i}^{2}}$ 是 $\lambda$ 的 MLE.

(2)
作总体变换, 令 $Y=X^{2}$, 则 $Y \sim f_{Y}(y)=\lambda e^{-\lambda y}, y>0$. 即 $X_{i}^{2}$ 相互独立服从 参数为 $\lambda$ 的指数分布, 因为 $g(t)=\frac{1}{t}$ 在 $(0,+\infty)$ 上是严格凸函数, 所以由 Jensen 不等式

$E(\hat{\lambda})=E\left(\frac{n}{\sum_{i=1}^{n} x_{i}^{2}}\right)>n \frac{1}{E\left(\sum_{i=1}^{n} x_{i}^{2}\right)}=\frac{n}{n \frac{1}{\lambda}}=\lambda$

于是 $\hat{\lambda}$ 不是 $\lambda$ 的无偏估计. (需要注意地是, Jensen 不等式的取等条件为 “ $g(t)$ 几平处处是线性函数”，而此处显然不是，于是 Jensen 不等式严格成立.) 或者利用 $\sum x_{i}^{2} \sim G a(n, \lambda)$, 计算得到 $E\left(\frac{n}{\sum_{i=1}^{n} x_{i}^{2}}\right)=\frac{n}{n-1} \lambda$, 同样可以说明 它不是无偏估计, 但显然不如 Jensen 不等式来得快.

(3)
由于 $X_{i}^{2}$ 相互独立, 均服从参数为 $\lambda$ 的指数分布, 则根据强大数定律, 有

$\frac{\sum_{i=1}^{n} x_{i}^{2}}{n} \rightarrow \frac{1}{\lambda}, \text { a.s. }$

故 $\frac{n}{\sum_{i=1}^{n} x_{i}^{2}} \rightarrow \lambda, a . s$, 即 $\hat{\lambda}$ 是 $\lambda$ 的强相合估计.

四、(15分) 有来自总体$X \sim N\left(\mu_{1}, \sigma_{1}^{2}\right)$ 的$m = 4$个独立样本, 其中 $\bar{x}=125, s_{x}=2,$ 有来自总体$Y \sim N\left(\mu_{2}, \sigma_{2}^{2}\right)$ 的$n = 9$个样本, 其中$\bar{y}=140, s_{y}=3,$ 求

(1)(7分) $\mu_{1}, \mu_{2}$ 的 95%置信区间;

(2)(8分) 假设检验问题$H_{0}: \mu_{1}=\mu_{2}$的拒绝域,其中$\alpha=0.05$ .

Solution:
(1)
先讨论 $\mu_{1}$, 以 $T=\frac{\sqrt{m}\left(\bar{x}-\mu_{1}\right)}{s_{x}} \sim t(m-1)$ 为枢轴量, 则 $\mu_{1}$ 的 $1-\alpha$ 水平的置. 信区间为 $\bar{x} \pm \frac{s_{x}}{\sqrt{m}} t_{1-\frac{\alpha}{2}}(m-1)$, 代入 $\bar{x}=125, s_{x}=2, m=4, \alpha=0.05$, 有

$\bar{x} \pm t_{0.975}(3)=125 \pm 3.1824=[121.8176,128.1824]$

同理 $\mu_{2}$ 的 $1-\alpha$ 水平的置信区间为 $\bar{y} \pm \frac{s_{y}}{\sqrt{n}} t_{1-\frac{\alpha}{2}}(n-1)$, 代入 $\bar{y}=140$, $s_{y}=3, n=9, \alpha=0.05$, 有

$\bar{y} \pm t_{0.975}(8)=140 \pm 2.3060=[137.6940,142.3060]$

(2) 先判断是否有 $\sigma_{1}^{2}=\sigma_{2}^{2}$, 建立如下假设检验问题:

$H_{1_{0}}: \frac{\sigma_{1}^{2}}{\sigma_{2}^{2}}=1 \text { vs } H_{1_{1}}: \frac{\sigma_{1}^{2}}{\sigma_{2}^{2}} \neq 1$

该问题的拒绝域是

$W_{1}=\left\{\frac{s_{x}^{2}}{s_{y}^{2}} \leqslant F_{\frac{\alpha}{2}}(m-1, n-1)\right\} \cup\left\{\frac{s_{x}^{2}}{s_{y}^{2}} \geqslant F_{1-\frac{\alpha}{2}}(m-1, n-1)\right\}$

此时 $m=4, n=9, \alpha=0.05$.
查表有 $F_{0.025}(3,8)=0.0688, F_{0.975}(3,8)=5.4160$, 而 $\frac{s_{x}^{2}}{s_{y}^{2}}=\frac{4}{9} \notin W_{1}$, 于 是我们可以应该接受 $H_{1_{0}}$, 即认为有 $\sigma_{1}^{2}=\sigma_{2}^{2}$.
接下来我们来检验 $H_{0}$ 是否成立, 在 $\sigma_{1}^{2}=\sigma_{2}^{2}$ 的条件下, 该问题的检验统计量 是 $t=\frac{\bar{x}-\bar{y}}{s_{w} \sqrt{\frac{1}{m}+\frac{1}{n}}}$, 这里 $s_{w}^{2}=\frac{(m-1) s_{x}^{2}+(n-1) s_{y}^{2}}{m+n-2}$.
而拒绝域是 $W_{0}=\left\{|t| \geqslant t_{1-\frac{a}{2}}(m+n-2)\right\}$.
查表有 $t_{0.975}(11)=2.2010$, 代入数据计算得 $s_{w}^{2}=\frac{3 \cdot 4+8 \cdot 9}{11}=\frac{84}{11}$, 则当 前检验统计量的观测值为 $t=\frac{125-140}{\sqrt{\frac{84}{11}} \sqrt{\frac{1}{4}+\frac{1}{9}}}=-9.0329 \in W_{0}$, 于是我们应该拒绝原假设, 即认为 $\mu_{1} \neq \mu_{2}$.

五、(20分) 回答下述问题:

(1)(10分) 叙述 N-P 引理;

(2)(10分) 利用 N-P 引理推导 UMP 否定域, 并求犯第二类错误的概率:

$H_{0}: X \sim N(0,1) \text { vs } H_{1}: X \sim N(2,1).$

其中 $x_1,\cdots,x_n$ 是来自总体 $X$ 的 i.i.d. 样本.

Solution:
(1)
对于总体 $f(x \mid \theta)$ 以及检验问题

$H_{0}: \theta=\theta_{0} \text { vs } H_{1}: \theta=\theta_{1}$

$W=\left\{L\left(\boldsymbol{X} \mid \theta_{1}\right)>\lambda L\left(\boldsymbol{X} \mid \theta_{0}\right)\right\}$ 是该问题 $\alpha$ 水平的 UMP 拒绝域. 其中 $\lambda$ 是常数, 满足 $P\left(\boldsymbol{X} \in W \mid \theta=\theta_{0}\right)=\alpha$.

(2)

$\begin{aligned} W&=\{L\left( \boldsymbol{X}\mid \mu =2 \right) >\lambda L\left( \boldsymbol{X}\mid \mu =0 \right) \}\\ &=\left\{ \left( 2\pi \right) ^{-\frac{n}{2}}e^{-\frac{\sum_{i=1}^n{\left( x_i-2 \right)}^2}{2}}>\lambda \left( 2\pi \right) ^{-\frac{n}{2}}e^{-\frac{\sum_{i=1}^n{x}_{i}^{2}}{2}} \right\}\\ &=\left\{ \exp \left\{ -\frac{1}{2}\left[ \sum_{i=1}^n{x}_{i}^{2}-\sum_{i=1}^n{\left( x_i-2 \right)}^2 \right] \right\} >\lambda \right\}\\ &=\left\{ \sum_{i=1}^n{\left( 2x_i-2 \right)}>\ln \lambda \right\} =\left\{ \bar{x}>1+\frac{\ln \lambda}{n} \right\}\\ \end{aligned}$

记 $C=1+\frac{\ln \lambda}{n}$, 则 $C$ 使得 $P\{\bar{x}>C \mid \mu=0\}=\alpha$, 解得 $C=\frac{u_{1-\alpha}}{\sqrt{n}}$, 则由 N-P 引理可知, $W=\left\{\sqrt{n} \bar{x}>u_{1-\alpha}\right\}$ 是该假设检验问题的 UMP 拒绝域.

$\begin{aligned} \beta &=P\{\boldsymbol{X} \notin W \mid \mu=2\} \\ &=P\left(\bar{x} \leqslant \frac{u_{1-\alpha}}{\sqrt{n}} \mid \mu=2\right) \\ &=P\left(\sqrt{n}(\bar{x}-2) \leqslant \sqrt{n}\left(\frac{u_{1-\alpha}}{\sqrt{n}}-2\right) \mid \mu=2\right)=\Phi\left(u_{1-\alpha}-2 \sqrt{n}\right) \end{aligned}$

六、(30分) 已知$Y_{i}=X_{i}^{T} \beta+\varepsilon_{i}, i=1,2, \ldots, n, \varepsilon_{i}$ i.i.d. $\sim N\left(0, \sigma^{2}\right), X_{i}=\left(X_{1 i}, X_{2 i}, \ldots, X_{s i}\right)^{T}$是已知的常数,

(1)(10分) 求 $\beta, \sigma^{2}$ 的 MLE $\widehat{\beta},\widehat{\sigma^2}$;

(2)(10分) 求 $\widehat{\beta}$ 的分布;

(3)(10分) $Y_{i}=a+b x_{i}+\varepsilon_{i}, i=1,2, \ldots, n, \varepsilon_{i}$ i.i.d $\sim N\left(0, \sigma^{2}\right),$ 求 $\operatorname{MLE} \hat{a}, \hat{b},$ 并证明 $\hat{a}, \widehat{b}$ 独立当且仅当 $\sum_{i=1}^{n} x_{i}=0 .$

Solution:
(1) $Y_i \sim N\left(\boldsymbol{X}_i \boldsymbol{\beta}, \sigma^2\right)$, 则样本的似然函数是

$\begin{aligned} L\left(\boldsymbol{\beta}, \sigma^2\right) &=\left(2 \pi \sigma^2\right)^{-\frac{n}{2}} \exp \left\{-\frac{1}{2 \sigma^2} \sum_{i=1}^n\left(y_i-\boldsymbol{X}_i^T \boldsymbol{\beta}\right)^2\right\} \\ &=\left(2 \pi \sigma^2\right)^{-\frac{n}{2}} \exp \left\{-\frac{1}{2 \sigma^2}(\boldsymbol{Y}-X \boldsymbol{\beta})^T(Y-X \boldsymbol{\beta})\right\} \end{aligned}$

其中 $\boldsymbol{Y}=\left(y_1, y_2, \cdots, y_n\right)^T, X=\left[\boldsymbol{X}_1, \boldsymbol{X}_2, \cdots, \boldsymbol{X}_n\right]^T$, 对数似然函数是

$\ln L\left(\boldsymbol{\beta}, \sigma^2\right)=-\frac{n}{2} \ln \left(2 \pi \sigma^2\right)-\frac{1}{2 \sigma^2}(\boldsymbol{Y}-X \boldsymbol{\beta})^T(Y-X \boldsymbol{\beta})$

关于各个分量求偏导并置 0 , 得到似然方程组,

$\left\{\begin{array}{l} \frac{\partial \ln L}{\partial \boldsymbol{\beta}}=\frac{1}{\sigma^2}\left(2 X^T \boldsymbol{Y}-2 X^T X \boldsymbol{\beta}\right)=\mathbf{0} \\ \frac{\partial \ln L}{\partial \sigma^2}=-\frac{n}{2} \frac{1}{\sigma^2}-\frac{1}{2 \sigma^4}(\boldsymbol{Y}-X \boldsymbol{\beta})^T(\boldsymbol{Y}-X \boldsymbol{\beta})=0 \end{array}\right.$

其中由于 $X$ 满秩, 所以 $X^T X$ 是可逆的, 于是解得对数似然函数的唯一驻点 $\hat{\boldsymbol{\beta}}=\left(X^T X\right)^{-1} X^T \boldsymbol{Y}, \hat{\sigma}^2=\frac{1}{n}(\boldsymbol{Y}-X \hat{\boldsymbol{\beta}})^T(\boldsymbol{Y}-X \hat{\boldsymbol{\beta}})$, 而对数似然函数显然是一山 函数, 于是该驻点为其唯一最大值点, 即 $\hat{\boldsymbol{\beta}}$ 与 $\hat{\sigma}^2$ 便是 $\boldsymbol{\beta}$ 与 $\sigma^2$ 的 MLE.

(2) $\boldsymbol{Y}=\left(Y_1, Y_2, \cdots, Y_n\right)^T$ 服从多元正态分布, 即 $\boldsymbol{Y} \sim N\left(X \boldsymbol{\beta}, \sigma^2 I_n\right)$. 而 $\hat{\boldsymbol{\beta}}=\left(X^T X\right)^{-1} X^T \boldsymbol{Y}$, 于是 $\hat{\boldsymbol{\beta}}$ 亦服从多元正态分布, 且
$E \hat{\boldsymbol{\beta}}=\left(X^T X\right)^{-1} X^T X \boldsymbol{\beta}=\boldsymbol{\beta}$
$\operatorname{Cov}(\hat{\boldsymbol{\beta}})=\sigma^2\left(X^T X\right)^{-1} X^T I_n X\left(X^T X\right)^{-1}$
$=\sigma^2\left(X^T X\right)^{-1}$
于是 $\hat{\boldsymbol{\beta}} \sim N\left(\boldsymbol{\beta}, \sigma^2\left(X^T X\right)^{-1}\right)$.

(3) 令 $\boldsymbol{\beta}=(a, b)^T$, 利用 (1) 与 (2) 的结果可知,

$\left(\begin{array}{l} \hat{a} \\ \hat{b} \end{array}\right) \sim N\left(\left(\begin{array}{l} a \\ b \end{array}\right), \sigma^2\left(\begin{array}{cc} \frac{1}{n}+\frac{\bar{x}^2}{l_{x x}} & -\frac{\bar{x}}{l_{x x}} \\ -\frac{\bar{x}}{l_{x x}} & \frac{1}{l_{x x}} \end{array}\right)\right)$

其中, $l_{x x}=\sum_{i=1}^n\left(x_i-\bar{x}\right)^2$, 由正态分布的性质, $\hat{a}$ 与 $\hat{b}$ 独立当且仅当 $\hat{a}$ 与 $\hat{b}$ 不 相关. 而 $\hat{a}$ 与 $\hat{b}$ 不相关.当且仅当 $\bar{x}=0$, 即 $\sum_{i=1}^n x_i=0$.

七、(20分) 有独立随机序列 ${X_n}$, 其分布列是 $P\left\{X_{n}=n^{\alpha}\right\}=\frac{1}{n}, P\left\{X_{n}=0\right\}=1-\frac{1}{n},$ 问 $\alpha$ 取何值时,

(1)(10分) $X_{n}$依概率收敛到 0;

(2)(10分) $X_n$几乎必然收敛到 0.

Solution:
(1) 对 $\forall \varepsilon>0, \quad P\left(\left|X_{n}\right| \geqslant \varepsilon\right) \leqslant P\left(\left|X_{n}\right| \neq 0\right)=\frac{1}{n} \rightarrow 0$.
所以对 $\forall \alpha$, 都有 $X_{n} \stackrel{P}{\rightarrow} 0$.

(2) 当 $\alpha<0$ 时, 由马尔可夫不等式, 有 $P\left(\left|X_{n}\right| \geqslant \varepsilon\right) \leqslant \frac{E X_{n}}{\varepsilon}=\frac{n^{\alpha-1}}{\varepsilon}$.
而 $\sum_{n=1}^{\infty} P\left(\left|X_{n}\right| \geqslant \varepsilon\right)<+\infty$, 故由 Borel-Cantelli 引理可知 $X_{n} \rightarrow 0$, a.s. 当 $\alpha \geqslant 0$, 对 $\forall \varepsilon \in(0,1)$, 对于任意的$n$, 都有$n^\alpha\geqslant \varepsilon$, 故 $P\left(\left|X_{n}\right| \geqslant \varepsilon\right)=P\left(X_{n} \neq 0\right)=\frac{1}{n}$, 则 $\sum_{n=1}^{\infty} P\left(\left|X_{n}\right| \geqslant \varepsilon\right)=\sum_{n=1}^{\infty} \frac{1}{n}=+\infty$, 根据 0-1 律知 $X_{n} \nrightarrow 0, a . s .$

八、(30分) 已知$X_{1}, X_{2}, \ldots, X_{n},$ i.i.d. $\sim \operatorname{Exp}\left(\frac{1}{\theta}\right)$

(1)(10分) $\operatorname{MLE} \hat{\theta}$;

(2)(10分) 费雪信息量 $I(\theta)$;

(3)(10分) 是否存在 $\theta$ 的有效估计.

Solution:
(1) 似然函数为 $L(\theta)=\frac{1}{\theta^{n}} e^{-\frac{\sum_{i=1}^{n} x_{i}}{\theta}}$, 取对数并关于参数求导置 0 , 有

$\frac{\mathrm{d} \ln L}{\mathrm{~d} \theta}=-\frac{n}{\theta}+\frac{\sum_{i=1}^{n} x_{i}}{\theta^{2}}=0$

解得对数似然函数的唯一驻点为 $\hat{\theta}=\bar{x}$, 而根据单参指数族的性质可知, 它 必定是 $\theta$ 的 MLE.

(2)

$\begin{aligned} I(\theta) &=E\left[\frac{\partial \ln f(X, \theta)}{\partial \theta}\right]^{2} \\ &=E\left(-\frac{1}{\theta}+\frac{X}{\theta^{2}}\right)^{2} \\ &=E\left(\frac{1}{\theta^{2}}-\frac{2 X}{\theta^{3}}+\frac{X^{2}}{\theta^{4}}\right)=\frac{1}{\theta^{2}} \end{aligned}$

(3) $E \bar{x}=E X_{1}=\theta$, 故 $\bar{x}$ 是 $\theta$ 的无偏估计, 其方差 $\operatorname{Var}(\bar{x})=\frac{1}{n} \operatorname{Var}\left(X_{1}\right)=\frac{\theta^{2}}{n}$. 而 $\theta$ 无偏估计的方差的 C-R 下界是 $\frac{1}{n I(\theta)}=\frac{\theta^{2}}{n}$, 于是 $\bar{x}$ 是 $\theta$ 的有效估计.