中国科学技术大学-812概率论与数理统计-2019年-解析

中国科学技术大学-812概率论与数理统计-2019年

一、(15分) 将$k$个相同的球随机放入$n$个不同的罐子,每个球放入各个罐子的可能性相同. 试求

(1)(7分) 指定的某个罐子恰有$r$个球的概率$(r<k) ;$

(2)(8分) 不空罐子数目的数学期望.

Solution:
(1) 指定的罐子中球的个数服从 $B\left(k, \frac{1}{n}\right)$, 因此恰有 $r$ 个的概率是

$$C_{k}^{r}\left(\frac{1}{n}\right)^{r}\left(\frac{n-1}{n}\right)^{k-r} .$$

(2) 用 $X_{i}=1$ 表示第 $i$ 个罐子无球, 若有球则记 $X_{i}=0$, 显然有

$$E X_{i}=P\left(X_{i}=1\right)=C_{k}^{0}\left(\frac{1}{n}\right)^{0}\left(\frac{n-1}{n}\right)^{k}=\left(1-\frac{1}{n}\right)^{k},$$

空罐子数的数学期望是 $E\left[X_{1}+\cdots+X_{n}\right]=n\left(1-\frac{1}{n}\right)^{k}$, 因此不空罐子数的数学期望 是 $n-n\left(1-\frac{1}{n}\right)^{k}$.

二、(20分) 假设二维随机变量$(X, Y)$的联合概率密度函数为

$$f(x, y)=\left\{\begin{array}{cc}\frac{21}{4} x^{2} y, & x^{2} \leq y \leq 1 \\ 0, & \text { 其他 }\end{array}\right.$$

(1)(7分) 求$Z=X^{2} Y$的概率密度函数;

(2)(8分) 求$E(Y |X = 0.5)$;

(3)(5分) 求$E X^{2}$.

Solution:
(1) 作变量变换, 令

$$\left\{ \begin{array}{l} Z=X^2Y,\\ W=Y,\\ \end{array} \right. \overset{\text{反函数}}{\Rightarrow}\left\{ \begin{array}{l} X=\pm \sqrt{Z/W},\\ Y=W,\\ \end{array} \right. \overset{\text{对应}}{\Rightarrow}\left\{ \begin{array}{l} x=\sqrt{z/w},\\ y=w,\\ \end{array} \right. \text{和}\left\{ \begin{array}{l} x=-\sqrt{z/w},\\ y=w,\\ \end{array} \right.$$

注意到此时有两支反函数, 其雅可比行列式分别是 $|J|=\pm \frac{1}{2\sqrt{zw}}$ , 因此有

$$\begin{aligned} f_{Z,W}\left( z,w \right) &=f\left( \sqrt{\frac{z}{w}},w \right) \left| \frac{1}{2\sqrt{zw}} \right|+f\left( -\sqrt{\frac{z}{w}},w \right) \left| -\frac{1}{2\sqrt{zw}} \right| \\ &=\frac{21}{4}\sqrt{\frac{z}{w}},0\leq z\leq w^2\leq 1,w\geq 0 \end{aligned}$$

故有 $f_Z\left( z \right) =\frac{21\sqrt{z}}{4}\int_{\sqrt{z}}^1{w^{-\frac{1}{2}}dw}=\frac{21}{2}\left( z^{\frac{1}{2}}-z^{\frac{3}{4}} \right) , 0\leq z\leq 1.$

(2) 先求$X$的边际密度, 有

$$f_X\left( x \right) =\frac{21x^2}{4}\int_{x^2}^1{ydy}=\frac{21}{8}\left( x^2-x^6 \right) ,\quad -1\leq x\leq 1,$$

故条件分布是

$$f_{Y|X}\left( y|x \right) =\frac{2y}{\left( 1-x^4 \right)},\quad x^2\leq y\leq 1$$

故有

$$E\left[ Y|X=0.5 \right] =\frac{2}{\left( 1-\frac{1}{16} \right)}\int_{\frac{1}{4}}^1{y^2dy}=\frac{2}{\frac{15}{16}}\cdot \frac{21}{64}=0.7$$

(3) 根据第(2)问得到的边际密度, 有

$$E\left( X^2 \right) =\frac{21}{8}\int_{-1}^1{x^2\left( x^2-x^6 \right) dx}=\frac{21}{4}\int_0^1{x^4\left( 1-x^4 \right) dx}=\frac{21}{4}\cdot \frac{4}{45}=\frac{21}{45}$$

三、(15分) 设离散型随机变量$X$和$Y$不相关, 分别服从如下分布律

$X$	-1	0	1
$P$	1/4	1/2	1/4

$Y$	0	1
$P$	1/4	3/4

若 $P(X Y=0)=\frac{1}{2}$,试求

(1)(8分) $X + Y$的分布律;

(2)(7分) ${Var}(X \mid Y=1)$.

Solution: 我们先通过题目给定信息得出联合分布, 由于 $E X=0, E Y=3 / 4$, 因此得到 $E X Y=0$, 故有 $P(X Y=1)-P(X Y=-1)=0$, 结合 $P(X Y=1)+P(X Y=-1)=1 / 2$, 得 到 $P(X Y=1)=P(X Y=-1)=1 / 4$.

(1) 根据得到的联合分布列, 很快得到 $X+Y$ 的分布列是

$X+Y$	-1	0	1	2
$P$	0	1/2	1/4	1/4

(2) 给定$Y = 1$ , $X$ 的条件分布是

$Y=1$	$X=-1$	$X=0$	$X=1$
$P$	1/3	1/3	1/3

因此有 $E(X \mid Y=1)=0, E\left(X^{2} \mid Y=1\right)=2 / 3$, 故 $\operatorname{Var}(X \mid Y=1)=2 / 3$.

四、(15分) 设随机变量序列$\left\{X_{i}\right\}_{i=1}^{\infty}$相互独立，且均服从$(0,1)$上的均匀分布,试证明

(1)(7分) $Y_{n}=\left(\prod_{i=1}^{n} X_{i}\right)^{-1 / n} \rightarrow_{p} e,$即依概率收敛成立, 此处$e$为自然常数;

(2)(8分) 证明$\sqrt{n}\left(Y_{n}-e\right) \rightarrow_{d} N\left(0, e^{2}\right),$即依分布收敛成立.

Solution:(1) 作变换, 令 $Z_{i}=-\ln X_{i} \sim \operatorname{Exp}(1)$, 则 $Z_{1}, Z_{2}, \cdots, Z_{n}$ 是来自期望为 1 的指数分布的随 机变量序列, 由于 $E Z_{1}=1$, 故根据大数定律, 得 $\frac{\sum_{k=1}^{n} Z_{i}}{n} \stackrel{P}{\rightarrow} 1$, 因此有 $Y_{n}=\exp \left\{\frac{\sum_{k=1}^{n} Z_{i}}{n}\right\} \stackrel{P}{\rightarrow} e .$

(2) 同样利用 $Z_{1}, Z_{2}, \cdots, Z_{n}$ ，由中心极限定理知, $\sqrt{n}\left(\frac{\sum_{k=1}^{n} Z_{i}}{n}-1\right) \stackrel{d}{\rightarrow} N(0,1)$, 令 $g(x)=e^{x}$, 借助 Delta 方法, 得 $\sqrt{n}\left(g\left(\frac{\sum_{k=1}^{n} Z_{i}}{n}\right)-g(1) \stackrel{d}{\rightarrow} g^{\prime}(1) N(0,1)\right.$, 即

$$\sqrt{n}\left(Y_{n}-e\right) \stackrel{d}{\rightarrow} N\left(0, e^{2}\right)$$

五、(20分) 设$X_{1}, \ldots, X_{n}$为来自总体$X$的一组简单随机样本, 且$\log X \sim N(\theta, \theta),$其 中$\theta>0$为未知参数. 试

(1)(10分) 求$\theta$的最大似然估计$\hat{\theta}$, 并证明其是唯一的$;$

(2)(10分) 证明$\hat{\theta}$低估$\theta,$但仍是$\theta$的相合估计.

Solution: (1) 样本的似然函数是

$$\begin{gathered} L(\theta \mid x)=(2 \pi \theta)^{-\frac{n}{2}} \exp \left\{-\frac{\sum_{i=1}^{n}\left(\ln x_{i}-\theta\right)^{2}}{2 \theta}\right\}, \\ \text { 取对数得 } \ln L(\theta \mid x)=C_{1}-\frac{n}{2} \ln \theta-\frac{\sum_{i=1}^{n}\left(\ln x_{i}-\theta\right)^{2}}{2 \theta}=C_{2}-\frac{n}{2} \ln \theta-\frac{\sum_{i=1}^{n}\left(\ln x_{i}\right)^{2}}{2 \theta}-\frac{n}{2} \theta \text {, 因此 } \end{gathered}$$

求导有

$$\frac{\partial \ln L(\theta \mid x)}{\partial \theta}=-\frac{n}{2 \theta}+\frac{\sum_{i=1}^{n}\left(\ln x_{i}\right)^{2}}{2 \theta^{2}}-\frac{n}{2}=\frac{-n \theta+\sum_{i=1}^{n}\left(\ln x_{i}\right)^{2}-n \theta^{2}}{2 \theta^{2}}$$

考虑 $g(\theta)=-\theta^{2}-\theta+\frac{1}{n} \sum_{i=1}^{n}\left(\ln x_{i}\right)^{2}$, 它与似然函数的导数同正负, 因此考虑该函数就等同于考察似然函数的单调性. 使得 $g(\theta)=0$ 的根有两个, 左侧的根是导数由负转正点, 右侧的根是导数由正转负点, 故右侧的根是唯一的 MLE, 即

$$\hat{\theta}=\frac{-1+\sqrt{1+\frac{4}{n} \sum_{i=1}^{n}\left(\ln x_{i}\right)^{2}}}{2}$$

(2) 记 $T=\frac{1}{n} \sum_{i=1}^{n}\left(\ln x_{i}\right)^{2}$, 显然 $E(T)=E\left[(\ln X)^{2}\right]=\theta^{2}+\theta$, 由 Jensen 不等式得

$$E\left[\frac{-1+\sqrt{1+4 T}}{2}\right]<\frac{-1+\sqrt{1+4 E(T)}}{2}=\theta,$$

故 $\hat{\theta}$ 低估 $\theta$, 但由大数定律, $T=\frac{1}{n} \sum_{i=1}^{n}\left(\ln x_{i}\right)^{2} \stackrel{P}{\rightarrow} \theta^{2}+\theta$, 因此也有

$$\hat{\theta}=\frac{-1+\sqrt{1+4 T}}{2} \stackrel{P}{\rightarrow} \frac{-1+\sqrt{4 \theta^{2}+4 \theta+1}}{2}=\theta .$$

六、(15分) 设$X$为服从如下分布的离散型随机变量

$$P(X=-1)=p, P(X=k)=(1-p)^{2} p^{k}, k=0,1,2, \cdots$$

其中$p \in(0,1)$为未知参数. 试

(1)(7分) 求$(1-p)^{2}$的最小方差无偏估计 ;

(2)(8分) 证明$p$的最小方差无偏估计不存在.

Solution: (1) 我们先说明: 任意零的无偏估计都可以写为 $U(X)=a X$ 的形式.
先证 $\Leftarrow$ :

$$E X=-p+\sum_{k=0}^{+\infty} k(1-p)^{2} p^{k}=-p+(1-p)^{2} \sum_{k=1}^{+\infty} k p^{k}=0$$

（注意: $\sum_{k=1}^{+\infty} k p^{k}=\sum_{k=1}^{+\infty} \sum_{n=1}^{k} p^{k}=\sum_{n=1}^{+\infty} \sum_{k=n}^{+\infty} p^{k}=\sum_{n=1}^{+\infty} \frac{p^{n}}{1-p}=\frac{p}{(1-p)^{2}}$ )

如果 $\exists a$, s.t. $U(X)=a X$, 则 $E U(X)=a E X=0$.
再证 $\Rightarrow$ :
设 $U(k)=u_{k}$, 因为 $U(X)$ 是零的无偏估计, 所以有:

$$0=u_{-1} p+(1-p)^{2} \sum_{k=0}^{+\infty} u_{k} p^{k}=u_{0}+\sum_{k=1}^{+\infty}\left(u_{k-2}-2 u_{k-1}+u_{k}\right) p^{k},$$

这个等式要求对于任意 $p \in[0,1]$ 成立, 等式右侧是关于 $p$ 的一个幂级数, 幂级数要想恒为 0 就必须所有项系数都为 0 , 即 $u_{0}=0, u_{k-2}-2 u_{k-1}+u_{k}=0$, 第二个式子意味着 $\left\{u_{n}\right\}$ 是等差数列, 而又有 $u_{0}=0$, 因此 $U(k)=u_{k}=k u_{1}$.此外, 显然 $I_{[X=0]}$ 是 $(1-p)^{2}$ 的无偏估计, 实际它也是 UMVUE, 因为对于任意零的无偏估计 $U(X)$,

$$\operatorname{Cov}\left(I_{[X=0]}, U(X)\right)=a \operatorname{Cov}\left(I_{[X=0]}, X\right)=a E X I_{[X=0]}=0,$$

因此 $I_{[X=0]}$ 是 $(1-p)^{2}$ 的 UMVUE.

(2) 用反证法: 如果 $V(X)$ 是 $p$ 的无偏估计, 设 $V_{1}(X)=V(X)-I_{[X=-1]}$
很明显可以看出 $V_{1}(X)$ 是零的无偏估计, 故存在 $a$ 使得

$$V(X)=a X+I_{[X=-1]},$$

对于任意一个零的无偏估计 $b X$,
$\operatorname{Cov}(V(X), b X)=a b E X^{2}+b E X I_{[X=-1]}=b\left[a E X^{2}-p\right]$, 如果想要该式对于任意 $p$ 恒为 0 , 就必须要求 $E X^{2}, p$ 线性相关, 这对于 $E X^{2}=\frac{2 p}{1-p}$ 来说, 很明显是不满足的. 故 $p$ 的最小方差无偏估计不存在.

(注意: $\sum_{k=1}^{+\infty} k^{2} p^{k}=p^{2} \sum_{k=1}^{+\infty} k(k-1) p^{k-2}+p \sum_{k=1}^{+\infty} k p^{k-1}=\frac{p+p^{2}}{(1-p)^{3}}$,故 $E X^{2}=p+(1-p)^{2} \sum_{k=0}^{+\infty} k^{2} p^{k}=p+\frac{p+p^{2}}{1-p}=\frac{2 p}{1-p}$)

七、(25分) 设如下回归模型

$$\begin{aligned} Y_{i} &=\alpha+\beta \xi_{i}+\epsilon_{i} \\ X_{i} &=\xi_{i}+\delta_{i}, i=1, \ldots, n \end{aligned}$$

其中$\epsilon_{1}, \ldots, \epsilon_{n}$i.i.d$\sim N\left(0, \sigma_{e}^{2}\right), \delta_{1}, \ldots, \delta_{n}$i.i.d$\sim N\left(0, \sigma_{\delta}^{2}\right),$且诸$\epsilon_{i}^{\prime}$和$\delta_{i}^{\prime}$相互独立. $\sigma_{\delta}^{2}=\sigma_{e}^{2} \lambda,$其中$\lambda$固定且已知. 给定观测数据$\left(X_{1}, Y_{1}\right), \ldots,\left(X_{n}, Y_{n}\right),$则

(1)(15分) 求$\alpha, \beta, \sigma_{\delta}^{2}$的最大似然估计$\hat{\alpha}, \hat{\beta}, \hat{\sigma}_{\delta}^{2} ;$

(2)(10分) 若假设对充分大的$n,\bar{\xi}_n =\frac{1}{n}\sum_{i=1}^n{\xi _i}$和$c_1 \leq \frac{1}{n} \sum_{i=1}^{n}\left(\xi_{i}-\bar{\xi}_{n}\right)^{2} \leq c_{2}$均一致有界, 证明$\hat{\alpha}, \hat{\beta}$为相合估计.

Solution: 该模型为 error-in-variables model, 其与传统线性回归模型的不同在于观测变量是否为固定值. 在传统线性回归模型中, 观测变量 $X_i$ 被视为已知常数, 而在该模型中, 观测变量为随机变量, 即 $X_i\sim N\left( \xi _i,\sigma _{\delta}^{2} \right)$. $Y_i$ 与 $\xi_i$ 之间有着线性关系, 但我们观测不到$\xi_i$, 只能观测到 $X_i$, 因此这里$\xi_i$也视作参数.

(1) 在$\sigma_{\delta}^{2}=\lambda \sigma_{\epsilon}^{2}$的前提下, 似然函数为:

$$\begin{aligned} & L\left(\alpha, \beta, \xi_{1}, \ldots, \xi_{n}, \sigma_{\delta}^{2} \right) \\ =& \frac{1}{(2 \pi)^{n}} \frac{\lambda^{n / 2}}{\left(\sigma_{\delta}^{2}\right)^{n}} \exp \left[-\sum_{i=1}^{n} \frac{\left(x_{i}-\xi_{i}\right)^{2}+\lambda\left(y_{i}-\left(\alpha+\beta \xi_{i}\right)\right)^{2}}{2 \sigma_{\delta}^{2}}\right] \end{aligned}$$

对于任意的 $\left(\alpha, \beta, \sigma_{\delta}^{2}\right)$, 似然函数相对于$\xi_{i}$ 的最大值点是

$$\xi_{i}^{*}=\frac{x_{i}+\lambda \beta\left(y_{i}-\alpha\right)}{1+\lambda \beta^{2}}$$

将上式代入似然函数, 可将似然函数化简为:

$$L\left(\alpha, \beta, \xi_{1}^{*}, \ldots,\xi_{n}^{*}, \sigma_{\delta}^{2} \right) = \frac{1}{(2 \pi)^{n}} \frac{\lambda^{n / 2}}{\left(\sigma_{\delta}^{2}\right)^{n}} \exp \left\{-\frac{1}{2 \sigma_{\delta}^{2}}\left[\frac{\lambda}{1+\lambda \beta^{2}} \sum_{i=1}^{n}\left(y_{i}-\left(\alpha+\beta x_{i}\right)\right)^{2}\right]\right\}$$

记$\alpha^{*}=\sqrt{\lambda} \alpha, \beta^{*}=\sqrt{\lambda} \beta, y_{i}^{*}=\sqrt{\lambda} y_{i}, i=1, \ldots, n$, 对数似然函数改写为

$$\begin{aligned} \ln L&=-n\ln 2\pi +\frac{n}{2}\ln \lambda -n\ln \sigma _{\delta}^{2}-\frac{1}{2\sigma _{\delta}^{2}}\frac{\lambda}{1+\lambda \beta ^2}\sum_{i=1}^n{\left( y_i-\left( \alpha +\beta x_i \right) \right) ^2}\\ \\ &=-n\ln 2\pi +\frac{n}{2}\ln \lambda -n\ln \sigma _{\delta}^{2}-\frac{1}{2\sigma _{\delta}^{2}}\frac{1}{1+\beta ^{*^2}}\sum_{i=1}^n{\left( y_{i}^{*}-\left( \alpha ^*+\beta ^*x_i \right) \right) ^2} \end{aligned}$$

上式对 $\alpha^{*},\beta^{*},\sigma_{\delta}^2$ 求导, 并令导数为 $0$, 有似然方程

$$\left\{ \begin{array}{l} \frac{\partial \ln L}{\partial \alpha ^*}=\frac{1}{\sigma _{\delta}^{2}}\frac{1}{1+\beta ^{*^2}}\sum_{i=1}^n{\left( y_{i}^{*}-\left( \alpha ^*+\beta ^*x_i \right) \right)}=0\\ \frac{\partial \ln L}{\partial \beta ^*}=\frac{1}{\sigma _{\delta}^{2}}\frac{1}{1+\beta ^{*^2}}\sum_{i=1}^n{x_i\left( y_{i}^{*}-\left( \alpha ^*+\beta ^*x_i \right) \right)}+\frac{\beta ^*}{\sigma _{\delta}^{2}}\frac{1}{\left( 1+\beta ^{*^2} \right) ^2}\sum_{i=1}^n{\left( y_{i}^{*}-\left( \alpha ^*+\beta ^*x_i \right) \right) ^2}=0\\ \frac{\partial \ln L}{\partial \sigma _{\delta}^{2}}=-\frac{n}{\sigma _{\delta}^{2}}+\frac{1}{\sigma _{\delta}^{4}}\frac{1}{1+\beta ^{*^2}}\sum_{i=1}^n{\left( y_{i}^{*}-\left( \alpha ^*+\beta ^*x_i \right) \right) ^2}=0\\ \end{array} \right.$$

利用第一个式子可知 $y_{i}^{*}-\left( \alpha ^*+\beta ^*x_i \right) =\left( y_{i}^{*}-\bar{y}^* \right) -\beta ^*\left( x_i-\bar{x} \right)$, 用其化简第二个式子, 有

$$\begin{aligned} \left( 1+\beta ^{*^2} \right) \sum_{i=1}^n{\left( x_i-\bar{x} \right) \left( \left( y_{i}^{*}-\bar{y}^* \right) -\beta ^*\left( x_i-\bar{x} \right) \right)}+\beta ^*\sum_{i=1}^n{\left( \left( y_{i}^{*}-\bar{y}^* \right) -\beta ^*\left( x_i-\bar{x} \right) \right) ^2}&=0 \\ \left( 1+\beta ^{*^2} \right) \left( l_{xy}^{*}-\beta ^*l_{xx} \right) +\beta ^*\left( l_{yy}^{*}+\beta ^{*^2}l_{xx}-2\beta ^*l_{xy}^{*} \right) &=0 \\ -l_{xy}^{*}\beta ^{*^2}-\left( l_{xx}-l_{yy}^{*} \right) \beta ^*+l_{xy}&=0 \end{aligned}$$

其中

$$l_{xx}=\sum_{i=1}^n{\left( x_i-\bar{x} \right) ^2},l_{xy}^{*}=\sum_{i=1}^n{\left( x_i-\bar{x} \right) \left( y_{i}^{*}-\bar{y}^* \right)},l_{yy}^{*}=l_{xx}=\sum_{i=1}^n{\left( y_{i}^{*}-\bar{y}^* \right) ^2}$$

记 $g\left( \beta ^* \right) =-l_{xy}^{*}\beta ^{*^2}-\left( l_{xx}-l_{yy}^{*} \right) \beta ^*+l_{xy}$, 它与对数似然函数关于 $\beta^*$ 的导数有着相同的正负号, 我们要找似然函数的极大值点, 就是找该函数的由正转负点, 即在该二次函数的两个零点处考虑, 而该二次函数的开口方向由 $l_{xy}^{*}$ 决定, 计算可得两种开口情况下的结果是一样的

$$\hat{\beta}^*=\begin{cases} \frac{-\left( l_{xx}-l_{yy}^{*} \right) +\sqrt{\left( l_{xx}-l_{yy}^{*} \right) ^2+4l_{xy}^{*^2}}}{2l_{xy}^{*}},& l_{xy}^{*}>0\\ \frac{-\left( l_{xx}-l_{yy}^{*} \right) +\sqrt{\left( l_{xx}-l_{yy}^{*} \right) ^2+4l_{xy}^{*^2}}}{2l_{xy}^{*}},& l_{xy}^{*}<0\\ \end{cases}$$

由于

$$l_{yy}=\sum_{i=1}^n{\left( y_i-\bar{y} \right) ^2}=\frac{1}{\lambda}l_{yy}^{*},l_{xy}=\sum_{i=1}^n{\left( x_i-\bar{x} \right) \left( y_i-\bar{y} \right)}=\frac{1}{\sqrt{\lambda}}l_{xy}^{*}$$

以及考虑到$\beta ^*=\sqrt{\lambda}\beta$, 有

$$\hat{\beta}=\frac{-\left( l_{xx}-\lambda l_{yy} \right) +\sqrt{\left( l_{xx}-\lambda l_{yy} \right) ^2+4\lambda l_{xy}^{2}}}{2\lambda l_{xy}}$$

再利用似然方程的第一个式子可得 $\hat{\alpha}=\bar{y}-\hat{\beta} \bar{x}$, 以及根据似然方程的第三个式子可得

$$\hat{\sigma}_{\delta}^{2}=\frac{1}{2 n} \frac{\lambda}{1+\lambda \hat{\beta}^{2}} \sum_{i=1}^{n}\left(y_{i}-\left(\hat{\alpha}+\hat{\beta} x_{i}\right)\right)^{2}$$

(2)

$$\begin{aligned} \frac{1}{n}l_{xx}=\frac{1}{n}\sum_{i=1}^n{\left( x_i-\bar{x} \right) ^2}&=\frac{1}{n}\sum_{i=1}^n{\left( x_i-\xi _i+\xi _i-\bar{\xi}_n+\bar{\xi}_n-\bar{x} \right) ^2}\\ &=\frac{1}{n}\sum_{i=1}^n{\left( x_i-\xi _i \right) ^2}+\frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}-\left( \bar{\xi}_n-\bar{x} \right) ^2\\ &=\frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}+\sigma _{\delta}^{2}+o_p\left( 1 \right)\\ \end{aligned}$$

其中 $\frac{1}{n}\sum_{i=1}^n{\left( x_i-\xi _i \right) ^2}\rightarrow _p\sigma _{\delta}^{2}$ 直接根据大数定律, 以及 $P\left( \left( \bar{\xi}_n-\bar{x} \right) ^2>\varepsilon \right) \le \frac{E\left( \bar{\xi}_n-\bar{x} \right) ^2}{\varepsilon}=\frac{1}{\varepsilon}\frac{\sigma _{\delta}^{2}}{n}\rightarrow 0$.

$$\begin{aligned} \frac{1}{n}l_{yy}^{*}=\frac{1}{n}\sum_{i=1}^n{\left( y_{i}^{*}-\bar{y} \right) ^2}&=\frac{1}{n}\sum_{i=1}^n{\left( \left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) +\beta ^*\left( \xi _i-\bar{\xi}_n \right) +\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) \right) ^2}\\ &=\frac{1}{n}\sum_{i=1}^n{\left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) ^2}+\frac{1}{n}\beta ^{*^2}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}-\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) ^2\\ &=\beta ^{*^2} \frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}+\sigma _{\delta}^{2}+o_p\left( 1 \right)\\ \end{aligned}$$

其中同样 $\frac{1}{n}\sum_{i=1}^n{\left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) ^2}\rightarrow _p\sigma _{\delta}^{2}$ 直接根据大数定律, 以及

$$P\left( \left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) ^2>\varepsilon \right) \le \frac{E\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) ^2}{\varepsilon}=\frac{1}{\varepsilon}\frac{\sigma _{\delta}^{2}}{n}\rightarrow 0$$

$$\begin{aligned} \frac{1}{n}l_{xy}^{*}=&\frac{1}{n}\sum_{i=1}^n{\left( x_i-\bar{x} \right) \left( y_{i}^{*}-\bar{y}^* \right)} \\ =&\frac{1}{n}\sum_{i=1}^n{\left( x_i-\xi _i+\xi _i-\bar{\xi}_n+\bar{\xi}_n-\bar{x} \right) \left( \left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) +\beta ^*\left( \xi _i-\bar{\xi}_n \right) +\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) \right)} \\ =&\frac{1}{n}\sum_{i=1}^n{\left( x_i-\xi _i \right) \left( \left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) +\beta ^*\left( \xi _i-\bar{\xi}_n \right) +\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) \right)} \\ &+\frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) \left( \left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) +\beta ^*\left( \xi _i-\bar{\xi}_n \right) +\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) \right)} \\ &+\frac{1}{n}\sum_{i=1}^n{\left( \bar{\xi}_n-\bar{x} \right) \left( \left( y_{i}^{*}-\alpha ^*-\beta ^*\xi _i \right) +\beta ^*\left( \xi _i-\bar{\xi}_n \right) +\left( \alpha ^*+\beta ^*\bar{\xi}_n-\bar{y}^* \right) \right)} \end{aligned}$$

上面三行和式中, 第一行三项均可根据大数定律得出依概率收敛到 0; 第二行中的第一项根据大数定律可知收敛到 0, 第三项可直接为 0; 第三行中的第一、三项可根据大数定律得知依概率收敛到 0, 第二项直接为0, 故仅剩第二行第二项保持不动, 即

$$\frac{1}{n}l_{xy}^{*}=\beta ^*\frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}+o_p\left( 1 \right)$$

综上, 根据依概率收敛的性质, 有

$$\begin{aligned} \hat{\beta}^*&=\frac{-\left( l_{xx}-l_{yy}^{*} \right) +\sqrt{\left( l_{xx}-l_{yy}^{*} \right) ^2+4l_{xy}^{*^2}}}{2l_{xy}^{*}} \\ &\rightarrow _p\frac{-\left( 1-\beta ^{*^2} \right) \frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}+\sqrt{\left( 1-\beta ^{*^2} \right) ^2\left[ \frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2} \right] ^2+4\beta ^{*^2}\left[ \frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2} \right]}}{2\beta ^*\frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}} \\ &=\frac{\left( \beta ^{*^2}-1 \right) \frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}+\left( \beta ^{*^2}+1 \right) \frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}}{2\beta ^*\frac{1}{n}\sum_{i=1}^n{\left( \xi _i-\bar{\xi}_n \right) ^2}}=\beta^* \end{aligned}$$

即 $\hat{\beta}^*$ 是 $\beta^*$ 的相合估计, 因此 $\hat{\beta}$ 是 $\beta$ 的相合估计. 再考虑 $\hat{\alpha}$, 由于

$$\hat{\alpha}=\bar{y}-\bar{x}\hat{\beta}=\left( \alpha +\bar{\xi}_n\beta \right) -\bar{x}\hat{\beta}=\alpha +\bar{\xi}_n\beta -\bar{x}\hat{\beta}$$

其中

$$\begin{aligned} \bar{\xi}_n\beta -\bar{x}\hat{\beta}&=\bar{\xi}_n\beta -\bar{\xi}_n\hat{\beta}+\bar{\xi}_n\hat{\beta}-\bar{x}\hat{\beta} \\ &=\bar{\xi}_n\left( \beta -\hat{\beta} \right) +\left( \bar{\xi}_n-\bar{x} \right) \hat{\beta} \end{aligned}$$

根据 $\hat{\beta}$ 的相合性以及 $\bar{\xi}_n$ 的有界性, 有 $\bar{\xi}_n\left( \beta -\hat{\beta} \right) \rightarrow _p0$. 而

$$P\left( \left| \bar{\xi}_n-\bar{x} \right|>\varepsilon \right) \le \frac{E\left( \bar{\xi}_n-\bar{x} \right) ^2}{\varepsilon ^2}=\frac{1}{\varepsilon ^2}\frac{\sigma _{\delta}^{2}}{n}\rightarrow 0$$

故 $\bar{\xi}_n-\bar{x}\rightarrow _p0$, 所以 $\left( \bar{\xi}_n-\bar{x} \right) \hat{\beta}\rightarrow _p0$, 综上有

$$\hat{\alpha}=\alpha +o_p\left( 1 \right) \rightarrow _p\alpha$$

即 $\hat{\alpha}$ 是 $\alpha$ 的相合估计.

注: 特别需要指出的是, 该模型中 $\hat{\sigma}_{\delta}^{2}\rightarrow _p\frac{\sigma _{\delta}^{2}}{2}$.

八、(25分) 假设$X_{1}, \ldots, X_{n}$为来自总体$f(x)=\frac{1}{\theta} e^{-\frac{x-\theta}{\theta}} I(x>\theta)$的简单随机样本,其中$\theta>0$为未知参数. 记$\bar{X}=\frac{1}{n} \sum_{i=1}^{n} X_{i}$为样本均值,$X_{(1)}=\min _{1 \leq i \leq n} X_{i},$对
$0<\alpha<1 / 2,$则

(1) (10分) 利用枢轴变量法, 分别基于$\bar{X}$和$X_{(1)}$构造$\theta$的$1-\alpha$置信区间.

(2) (8分) 上述两个置信区间何者更优?

(3) (7分) 试给出假设$H_{0}: P(X>1) \geq p_{0}$的一个水平$\alpha$检验, 其中$0<p_{0}<1$为一已知数.

Solution:(1) 作总体变换, 令 $Y_{i}=X_{i}-\theta \sim \operatorname{Exp}\left(\frac{1}{\theta}\right)$, 则 $Y_{1}, \cdots, Y_{n}$ 是来自均值为 $\theta$ 的指数分布的 样本, 故有结论 $Y_{(1)} \sim \operatorname{Exp}\left(\frac{n}{\theta}\right), n \bar{Y} \sim G a\left(n, \frac{1}{\theta}\right)$, 可以将其变为卡方分布, 即有

$$\frac{2 n}{\theta} Y_{(1)} \sim \chi^{2}(2), \frac{2 n}{\theta} \bar{Y} \sim \chi^{2}(2 n),$$

因此 $T_{1}=\frac{2 n}{\theta}\left(X_{(1)}-\theta\right) \sim \chi^{2}(2)$ 和 $T_{2}=\frac{2 n}{\theta}(\bar{X}-\theta) \sim \chi^{2}(2 n)$ 是枢轴量, 对于 $T_{1}$, 我们试 导出最短置信区间, 因为 $a \leq T_{1} \leq b$ 意味着 $\frac{X_{(1)}}{1+\frac{b}{2 n}} \leq \theta \leq \frac{X_{(1)}}{1+\frac{a}{2 n}}$, 因此求最小值就相 当于求函数 $l(a, b)=\frac{1}{1+\frac{a}{2 n}}-\frac{1}{1+\frac{b}{2 n}}$ 在条件 $\int_{a}^{b} e^{-\frac{1}{2} x} d x=1-\alpha$ 的条件下的极小值,用 拉格朗日乘数法, 设

$$L(a, b)=\frac{1}{1+\frac{a}{2 n}}-\frac{1}{1+\frac{b}{2 n}}+\lambda\left[\int_{a}^{b} e^{-\frac{1}{2} x} d x-(1-\alpha)\right]$$

求偏导数, 有

$$\left\{\begin{array}{l} \frac{\partial L}{\partial a}=-\frac{1}{2 n\left(1+\frac{a}{2 n}\right)^{2}}-\lambda e^{-\frac{1}{2} a}=0 \\ \frac{\partial L}{\partial b}=\frac{1}{2 n\left(1+\frac{b}{2 n}\right)^{2}}+\lambda e^{-\frac{1}{2} b}=0 \\ \frac{\partial L}{\partial \lambda}=\int_{a}^{b} e^{-\frac{1}{2} x} d x-(1-\alpha) \equiv 0 \end{array}\right.$$

解得 $a, b$ 满足下列关系:

$$\left\{\begin{array}{l} \left(1+\frac{a}{2 n}\right)^{2} e^{-\frac{1}{2} a}=\left(1+\frac{b}{2 n}\right)^{2} e^{-\frac{1}{2} b} \\ \int_{a}^{b} e^{-\frac{1}{2} x} d x=1-\alpha \end{array}\right.$$

这样的 $a, b$ 使得区间 $\left[\frac{X_{(1)}}{1+\frac{b}{2 n}}, \frac{X_{(1)}}{1+\frac{a}{2 n}}\right]$ 最短, 记作区间一 $:\left[\frac{X_{(1)}}{1+\frac{\chi_{1-\alpha+\beta_{1}}^{2}(2)}{2 n}}, \frac{X_{(1)}}{1+\frac{\chi_{\beta_{1}}^{2}(2)}{2 n}}\right]$.
对于 $T_{2}$ ，因为 $a \leq T_{2} \leq b$ 意味着 $\frac{\bar{X}}{1+\frac{b}{2 n}} \leq \theta \leq \frac{\bar{X}}{1+\frac{a}{2 n}}$, 因此求最小值就相当于求函数 $l(a, b)=\frac{1}{1+\frac{a}{2 n}}-\frac{1}{1+\frac{b}{2 n}}$ 在条件 $\int_{a}^{b} \frac{1}{2^{n} \Gamma(n)} x^{n-1} e^{-\frac{1}{2} x} d x=1-\alpha$ 的条件下的极小值, 用拉格朗日乘数法, 设

$$L(a, b)=\frac{1}{1+\frac{a}{2 n}}-\frac{1}{1+\frac{b}{2 n}}+\lambda\left[\int_{a}^{b} x^{n-1} e^{-\frac{1}{2} x} d x-C\right]$$

其中 $C=2^{n} \Gamma(n)(1-\alpha)$, 求偏导数, 有

$$\left\{\begin{array}{l} \frac{\partial L}{\partial a}=-\frac{1}{2 n\left(1+\frac{a}{2 n}\right)^{2}}-\lambda a^{n-1} e^{-\frac{1}{2}} \\ \frac{\partial L}{\partial b}=\frac{1}{2 n\left(1+\frac{b}{2 n}\right)^{2}}+\lambda b^{n-1} e^{-\frac{1}{2} b}= \\ \frac{\partial L}{\partial \lambda}=\int_{a}^{b} x^{n-1} e^{-\frac{1}{2} x} d x-C \equiv 0, \end{array}\right.$$

解得 $a, b$ 满足下列关系:

$$\left\{\begin{array}{l} \left(1+\frac{a}{2 n}\right)^{2} a^{n-1} e^{-\frac{1}{2} a}=\left(1+\frac{b}{2 n}\right)^{2} b^{n-1} e^{-\frac{1}{2} b} \\ \int_{a}^{b} \frac{1}{2^{n} \Gamma(n)} x^{n-1} e^{-\frac{1}{2} x} d x=1-\alpha \end{array}\right.$$

这样的 $a, b$ 使得区间 $\left[\frac{\bar{X}}{1+\frac{b}{2 n}}, \frac{\bar{X}}{1+\frac{a}{2 n}}\right]$ 最短, 记作区间二: $\left[\frac{\bar{X}}{1+\frac{\chi_{1-\alpha+\beta_{2}}^{2}(2 n)}{2 n}}, \frac{\bar{X}}{1+\frac{\chi_{2_{2}}^{2}(2 n)}{2 n}}\right]$.

注：考试时遇到复杂情形也可考虑等尾置信区间, 大概率可得分.

(2) 我认为区间一更精确, 可以比较区间长度, 区间一的长度是

$$C_{1}=\frac{\left(\chi_{1-\alpha+\beta_{1}}^{2}(2)-\chi_{\beta_{1}}^{2}(2)\right) / 2 n}{\left(1+\frac{\chi_{1}^{2}-\alpha+\beta_{1}(2)}{2 n}\right)\left(1+\frac{\chi_{1_{1}}^{2}(2)}{2 n}\right)} X_{(1)},$$

由于 $\chi_{1-\alpha+\beta_{1}}^{2}(2)-\chi_{\beta_{1}}^{2}(2)$ 都是常数, 故其分母趋于 1 , 而分子趋于 0 , 且与 $\frac{1}{n}$ 同阶.
区间二的长度是

$$C_{2}=\frac{\left(\chi_{1-\alpha+\beta_{1}}^{2}(2 n)-\chi_{\beta_{1}}^{2}(2 n)\right) / 2 n}{\left(1+\frac{\chi_{1-\alpha+\beta_{1}}^{2}(2 n)}{2 n}\right)\left(1+\frac{\chi_{1}^{2}(2 n)}{2 n}\right)} \bar{X},$$

这里由于 $\chi_{1-\alpha+\beta_{2}}^{2}(2 n), \chi_{\beta_{2}}^{2}(2 n)$ 随 $n$ 而动, 故需要进一步探讨, 先考虑分母, 根据 $\chi_{\theta_{2}}^{2}(2 n)$ 的定义, 有

$$P\left(Y \leq \chi_{\beta_{2}}^{2}(2 n)\right)=\beta_{2} \text {, 即 } P\left(\frac{Y-2 n}{2 \sqrt{n}} \leq \sqrt{n} \frac{\chi_{\beta_{2}}^{2}(2 n)-2 n}{2 n}\right)=\beta_{2} \text {, }$$

其中 $Y \sim \chi^{2}(2 n)$, 根据中心极限定理, 有 $\frac{Y-2 n}{2 \sqrt{n}} \stackrel{d}{\rightarrow} N(0,1)$, 故由上式可看出 $\sqrt{n} \frac{\chi_{\beta_{2}}^{2}(2 n)-2 n}{2 n} \rightarrow z_{\beta_{2}}$, 故有 $\frac{\chi_{\beta_{2}}^{2}(2 n)-2 n}{2 n} \rightarrow 0$, 因此 $\frac{\chi_{\beta_{2}}^{2}(2 n)}{2 n} \rightarrow 1$,
同理 $\frac{\chi_{1-\alpha+\beta_{2}}^{2}(2 n)}{2 n} \rightarrow 1$, 故有 $C_{2}$ 的分母收敛于常数 4. 再考虑分子, 由于

$$P\left(\chi_{\beta_{1}}^{2}(2 n) \leq Y \leq \chi_{1-\alpha+\beta_{1}}^{2}(2 n)\right)=1-\alpha$$

即 $P\left(\frac{\chi_{\beta_{1}}^{2}(2 n)-2 n}{\sqrt{2 n}} \leq \frac{Y-2 n}{\sqrt{2 n}} \leq \frac{\chi_{1-\alpha+\beta_{1}}^{2}(2 n)-2 n}{\sqrt{2 n}}\right)=1-\alpha$, 再次根据中心极限定理, 我 们得知 $\frac{\chi_{1-\alpha+\beta_{1}}^{2}(2 n)-\chi_{\beta_{1}}^{2}(2 n)}{\sqrt{2 n}}$ 是收敛于正常数的, 故对 $C_{2}$ 而言, 其分子与 $\frac{1}{\sqrt{n}}$ 同阶, 比 $C_{1}$ 更慢收敛于 0 , 再考虑到 $X_{(1)} \leq \bar{X}$, 故当 $n$ 足够大时, 区间一更短.

注: 若考虑的是等尾置信区间, 依然是由 $X_{(1)}$ 构造的置信区间更短, 讨论过程类似.

(3) 借助经验分布函数思想, 令 $U=\sum_{i=1}^{n} I_{\left\{x_{i}>1\right\}}$, 则有当 $T$ 过小时拒绝原假设, 即检验函数是 $T\left(x_{1}, \cdots, x_{n}\right)=I_{\{U<m\}}+r I_{\{U=m\}}$, 意味着若 $U<m$ 则拒绝原假设, 若 $U=m$ 则以概率 $r$ 拒绝原假设, 为使得其水平为 $\alpha$, 需保证 $m, r$ 满足

$$\sum_{k=0}^{m-1} C_{n}^{k} p_{0}^{k}\left(1-p_{0}\right)^{n-k}+r C_{n}^{m} p_{0}^{m}\left(1-p_{0}\right)^{n-m}=\alpha,$$

这样的 $m, r$ 是找得到的, 即令

$$m=\inf \left\{s: \sum_{k=0}^{s} C_{n}^{k} p_{0}^{k}\left(1-p_{0}\right)^{n-k}>\alpha\right\},$$

$$r=\frac{\alpha-\sum_{k=0}^{m-1} C_{n}^{k} p_{0}^{k}\left(1-p_{0}\right)^{n-k}}{C_{n}^{m} p_{0}^{m}\left(1-p_{0}\right)^{n-m}}$$