清华大学-432统计学-2019年

一、(30分) 独立随机变量序列 {Xn}\left\{X_{n}\right\}, n1n \geq 1, 其中 XnN(1n,1n)X_{n} \sim N\left(\frac{1}{n}, \frac{1}{n}\right).

(1)(10分) 当 n+n \rightarrow+\infty 时, 是否有 XnP0,X_{n} \stackrel{P}{\rightarrow} 0, 请说明理由;

(2)(10分) 当 n+n \rightarrow+\infty 时, 是否有 Xna.s.0,X_{n} \stackrel{\text {a.s.}}{\rightarrow} 0, 请说明理由;

(3)(10分) 是否存在单调增加的正数列 {an},\left\{a_{n}\right\}, 使 anXn2dX?a_{n} X_{n}^{2} \xrightarrow{d} X ? 其中 Xχ2(1)X \sim \chi^{2}(1)

Solution:
(1) 对任意 ε,P{Xnε}P{Xn1nε2}+P{1nε2}\varepsilon, P\left\{\left|X_{n}\right| \geq \varepsilon\right\} \leq P\left\{\left|X_{n}-\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\}+P\left\{\left|\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\},
注意, 利用切比雪夫不等式 P{Xn1nε2}4ε2Var(Xn)=4ε21n0P\left\{\left|X_{n}-\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\} \leq \frac{4}{\varepsilon^{2}} \operatorname{Var}\left(X_{n}\right)=\frac{4}{\varepsilon^{2}} \cdot \frac{1}{n} \rightarrow 0,
而对第二个式子, nn 足够大时, {1nε2}\left\{\left|\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\} 这个事件就是空集, 概率也是 0 .
因此 limnP{Xnε}=0\lim _{n \rightarrow \infty} P\left\{\left|X_{n}\right| \geq \varepsilon\right\}=0, 故 Xnp0X_{n} \stackrel{p}{\rightarrow} 0.

(2) [法一] 复刻第(1)问, 有标准正态分布 ZZ 的任意阶矩存在, EZ4=3E Z^{4}=3, 而

E(Xn1n)4=E(Zn)4=3n2,E\left(X_{n}-\frac{1}{n}\right)^{4}=E\left(\frac{Z}{\sqrt{n}}\right)^{4}=\frac{3}{n^{2}},

对任意 ε,P{Xnε}P{Xn1nε2}+P{1nε2}\varepsilon, P\left\{\left|X_{n}\right| \geq \varepsilon\right\} \leq P\left\{\left|X_{n}-\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\}+P\left\{\left|\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\}, 注意, 利用马尔可夫不等式 P{Xn1nε2}16ε4E(Xn1n)4=48ε41n2P\left\{\left|X_{n}-\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\} \leq \frac{16}{\varepsilon^{4}} E\left(X_{n}-\frac{1}{n}\right)^{4}=\frac{48}{\varepsilon^{4}} \cdot \frac{1}{n^{2}}, 级数收敛.
而对第二个式子, nn 足够大时, {1nε2}\left\{\left|\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\} 这个事件就是空集, 概率也是 0 .
根据比较判别法 n=1P{Xnε}<+\sum_{n=1}^{\infty} P\left\{\left|X_{n}\right| \geq \varepsilon\right\}<+\infty, 由 Borel-Cantelli 引理, Xn a.s. 0X_{n} \stackrel{\text { a.s. }}{\rightarrow} 0.
[法二] 借助不等式: 对 x>0x>0x+et22dt1xex22\int_{x}^{+\infty} e^{-\frac{t^{2}}{2}} d t \leq \frac{1}{x} e^{-\frac{x^{2}}{2}}, 故

P{Xn1nε2}=P{nXn1nεn2}22π2εne12ε24nCeε28nP\left\{\left|X_{n}-\frac{1}{n}\right| \geq \frac{\varepsilon}{2}\right\}=P\left\{\sqrt{n}\left|X_{n}-\frac{1}{n}\right| \geq \frac{\varepsilon \sqrt{n}}{2}\right\} \leq \frac{2}{\sqrt{2 \pi}} \frac{2}{\varepsilon \sqrt{n}} e^{-\frac{1}{2} \frac{\varepsilon^{2}}{4} n} \leq C e^{-\frac{\varepsilon^{2}}{8} n}

等比数列的级数收敛, 因此也能得到 Xna.s.0X_{n} \stackrel{a . s .}{\rightarrow} 0.

(3) 在上一题的计算过程中我们已经知道 n(Xn1n)N(0,1)\sqrt{n}\left(X_{n}-\frac{1}{n}\right) \sim N(0,1), 故

n(Xn1n)2=n(Xn22nXn+1n2)=nXn22Xn+1nχ2(1),n\left(X_{n}-\frac{1}{n}\right)^{2}=n\left(X_{n}^{2}-\frac{2}{n} X_{n}+\frac{1}{n^{2}}\right)=n X_{n}^{2}-2 X_{n}+\frac{1}{n} \sim \chi^{2}(1),

根据前 2 问, Xna.s.0X_{n} \stackrel{a . s .}{\rightarrow} 0, 而 1n0\frac{1}{n} \rightarrow 0 更是显然的, 因此 nXn2dχ2(1)n X_{n}^{2} \stackrel{d}{\rightarrow} \chi^{2}(1).

二、(20分) X1,X2,,XnX_{1}, X_{2}, \cdots, X_{n} 是来自总体 N(θ,1)N(\theta, 1) 的简单随机样本,其中 θ>0,\theta>0, 试求

(1)(10分) θ\theta 的极大似然估计 θ^MLE\widehat{\theta}_{M L E},

(2)(10分) θ^MLE\hat{\theta}_{M L E} 的极限分布.

Solution:

(1) 似然函数 L(θ)=(2π)n2exp{12i=1n(xiθ)2}L(\theta)=(2 \pi)^{-\frac{n}{2}} \exp \left\{-\frac{1}{2} \sum_{i=1}^{n}\left(x_{i}-\theta\right)^{2}\right\}, 其中 θ>0\theta>0,

lnL(θ)=n2ln2π12i=1n(xiθ)2,lnL(θ)θ=n(xˉθ),\ln L(\theta)=-\frac{n}{2} \ln 2 \pi-\frac{1}{2} \sum_{i=1}^{n}\left(x_{i}-\theta\right)^{2}, \frac{\partial \ln L(\theta)}{\partial \theta}=n(\bar{x}-\theta),

因此我们可以看出, 当 θ<xˉ\theta<\bar{x} 时, lnL(θ)θ>0,L(θ)\frac{\partial \ln L(\theta)}{\partial \theta}>0, L(\theta) 单调递增;
而当 θ>xˉ\theta>\bar{x} 时, lnL(θ)θ<0,L(θ)\frac{\partial \ln L(\theta)}{\partial \theta}<0, L(\theta) 单调递减, 这说明了 xˉ\bar{x}L(θ)L(\theta) 的极大值点, θ^=xˉ\hat{\theta}=\bar{x}.
但是如果出现 xˉ0,θ\bar{x} \leq 0, \theta 是没有办法取到 xˉ\bar{x}, 不过通过刚才的求导发现当 θ>xˉ\theta>\bar{x}L(θ)L(\theta) 单调递减, 因此此时 θ^=0\hat{\theta}=0.
综上所述, θ^=xˉI[xˉ>0]\hat{\theta}=\bar{x} I_{[\bar{x}>0]}, 其中 IAI_{A} 表示集合 AA 的示性函数.

(2) 首先根据辛钦大数定律, xˉpθ\bar{x} \stackrel{p}{\rightarrow} \theta, 不难发现 I[xˉ>0]P1I_{[\bar{x}>0]} \stackrel{P}{\rightarrow} 1. 这是由于

P(I(Xˉ>0)1>ϵ)=P(1I(Xˉ>0)>ϵ)=P(I(Xˉ>0)<1ϵ)=P(Xˉ0)=P(n(Xˉθ)nθ)=Φ(nθ)0.\begin{aligned} P(|I(\bar{X}>0)-1|>\epsilon) & =P(1-I(\bar{X}>0)>\epsilon) \\ & =P(I(\bar{X}>0)<1-\epsilon) \\ & =P(\bar{X} \leq 0) \\ & =P(\sqrt{n}(\bar{X}-\theta) \leq-\sqrt{n} \theta) \\ & =\Phi(-\sqrt{n} \theta) \rightarrow 0. \end{aligned}

因此根据依概率收敛的 乘法性质, 有 θ^=xˉI[x>0]Pθ\hat{\theta}=\bar{x} I_{[x>0]} \stackrel{P}{\rightarrow} \theta.
但是单点分布的极限分布提供的信息过少, 为此我们去研究 n(θ^θ)\sqrt{n}(\hat{\theta}-\theta) 的渐 近性质, 由于有 n(θ^θ)=n(xˉθ)nxˉI[xˉ0], 其中 \sqrt{n}(\hat{\theta}-\theta)=\sqrt{n}(\bar{x}-\theta)-\sqrt{n} \bar{x} I_{[\bar{x} \leq 0] \text {, 其中 }}

P(nxˉI[xˉ0]>ε)P(nxˉI[xˉ0]0)P(I[xˉ0]0)0.P\left(\left|\sqrt{n} \bar{x} I_{[\bar{x} \leq 0]}\right|>\varepsilon\right) \leq P\left(\sqrt{n} \bar{x} I_{[\bar{x} \leq 0]} \neq 0\right) \leq P\left(I_{[\bar{x} \leq 0]} \neq 0\right) \rightarrow 0 .

因此有 nxˉI[xˉ0]P0\sqrt{n} \bar{x} I_{[\bar{x} \leq 0]} \stackrel{P}{\rightarrow} 0, 而 n(xˉθ)N(0,1)\sqrt{n}(\bar{x}-\theta) \sim N(0,1), 综上所述有

n(θ^θ)dN(0,1).\sqrt{n}(\hat{\theta}-\theta) \stackrel{d}{\rightarrow} N(0,1) .

三、(30分) X1,X2,,XnX_{1}, X_{2}, \cdots, X_{n} 是来自总体 f(x;θ)=θxθ1,0<x<1,θ>0f(x ; \theta)=\theta x^{\theta-1}, 0<x<1, \theta>0 的简单随机样本.

(1)(10分) i=1nXi\sum_{i=1}^{n} X_{i} 是否为充分统计量?

(2)(10分) 求 θ\theta 的充分完全统计量 θ^\hat{\theta};

(3)(10分) 基于 θ\theta 构造 θ\theta 的相合估计量.

Solution:
【第三题】、(1)似然函数 L(θ)=θn(i=1nxi)θ1L(\theta)=\theta^{n}\left(\prod_{i=1}^{n} x_{i}\right)^{\theta-1}, 根据因子分解定理, i=1nXi\prod_{i=1}^{n} X_{i} 是充分统 计量, 包含了样本的所有信息, 而 i=1nXi\sum_{i=1}^{n} X_{i}i=1nXi\prod_{i=1}^{n} X_{i} 并不是一一对应的, 因此不是充 分统计量. 至于为何不是一一对应, 理由如下:
情况 1: X1=X2==Xn=12X_{1}=X_{2}=\cdots=X_{n}=\frac{1}{2}, 此时 i=1nXi=n2,i=1nXi=12n\sum_{i=1}^{n} X_{i}=\frac{n}{2}, \prod_{i=1}^{n} X_{i}=\frac{1}{2^{n}};
情况 2: X1=14,X2=34,X3==Xn=12X_{1}=\frac{1}{4}, X_{2}=\frac{3}{4}, X_{3}=\cdots=X_{n}=\frac{1}{2}, 此时 i=1nXi=n2,i=1nXi=3412n\sum_{i=1}^{n} X_{i}=\frac{n}{2}, \prod_{i=1}^{n} X_{i}=\frac{3}{4} \frac{1}{2^{n}};
我们发现, 对于情况 1 和情况 2,i=1nXi2, \sum_{i=1}^{n} X_{i} 的值不变, 但充分统计量 i=1nXi\prod_{i=1}^{n} X_{i} 的取值改变, 故 i=1nXi\sum_{i=1}^{n} X_{i} 反应不了样本的所有信息.

(2) 总体服从 Beta(θ,1)\operatorname{Beta}(\theta, 1), 是指数族, 因此充分统计量就是其完全充分统计量, 故 i=1nXi\prod_{i=1}^{n} X_{i} 是其充分完全统计量, θ^=1ni=1nlnXi\hat{\theta}=\frac{1}{n} \sum_{i=1}^{n} \ln X_{i} 也是其充分完全统计量 (因为和 i=1nXi\prod_{i=1}^{n} X_{i}. 一对应).

(3) 令 Y=lnXY=-\ln X, 用微分法求其概率分布:

P{Y=y}=P{lnX=y}=P{X=ey}=f(ey)d(ey)=θeθydy,P\{Y=y\}=P\{-\ln X=y\}=P\left\{X=e^{-y}\right\}=f\left(e^{-y}\right) d\left(e^{-y}\right)=\theta e^{-\theta y} d y,

因此 YExp(θ)Y \sim \operatorname{Exp}(\theta), 根据强大数律 θ^=1ni=1nlnXi=1ni=1nYi a.s. 1θ\hat{\theta}=\frac{1}{n} \sum_{i=1}^{n} \ln X_{i}=-\frac{1}{n} \sum_{i=1}^{n} Y_{i} \stackrel{\text { a.s. }}{\longrightarrow}-\frac{1}{\theta}, 故 ni=1nlnXi\frac{-n}{\sum_{i=1}^{n} \ln X_{i}}θ\theta 的 强相合估计.

四、(20分) 假设能够生成一列服从均匀分布 U(0,1)U(0,1) 的独立同分布样本 U1,U2,,UnU_{1}, U_{2}, \cdots, U_{n}. 现有随机变量 XX 的密度函数为 f(x)=2x,0<x<1f(x)=2 x, 0<x<1 . 请用两种不同方法通过 U1,U2,,UnU_{1}, U_{2}, \cdots, U_{n} 生成服从该分布的随 机数序列 X1,X2,,XnX_{1}, X_{2}, \cdots, X_{n }.

Solution:
法一: Xi=Ui,i=1,2,,nX_{i}=\sqrt{U_{i}}, i=1,2, \ldots, n, 现用微分法说明 Xif(x)=2xX_{i} \sim f(x)=2 x :

P{X=x}=P{U=x}=P{U=x2}=fU(x2)d(x2)=2xdx, 因此 Xif(x)=2xP\{X=x\}=P\{\sqrt{U}=x\}=P\left\{U=x^{2}\right\}=f_{U}\left(x^{2}\right) d\left(x^{2}\right)=2 x d x \text {, 因此 } X_{i} \sim f(x)=2 x \text {. }

法二: Xi=1Ui,i=1,2,,nX_{i}=\sqrt{1-U_{i}}, i=1,2, \ldots, n, 很显然,由于 1UU(0,1)1-U \sim U(0,1), 故 Xif(x)=2xX_{i} \sim f(x)=2 x.

法三:我们可以观察到 f(x)=2xf(x)=2 x 恰好是 Beta(2,1)\operatorname{Beta}(2,1) 的密度函数, 而 Beta(2,1)\operatorname{Beta}(2,1) 可以由 均匀分布的次序统计量来生成, 即令 X1=max{U1,U2},,Xn=max{U2n1,U2n}X_{1}=\max \left\{U_{1}, U_{2}\right\}, \ldots, X_{n}=\max \left\{U_{2 n-1}, U_{2 n}\right\}, 这些 就是服从 Beta (2,1)(2,1) 的随机数序列了.
[点评]: 法一、法二用的都是分布函数的反函数与均匀分布的关系, 法三实际上 并不满足条件, 因为题目要求随机数的数量一致.

五、(20分) 两独立样本 {Xn}\left\{X_{n}\right\} i.i.d. N(μ1,σ12)\sim N\left(\mu_{1}, \sigma_{1}^{2}\right){Ym}\left\{Y_{m}\right\} i.i.d. N(μ2,σ22),\sim N\left(\mu_{2}, \sigma_{2}^{2}\right), 求假设检验问题 :

H0:μ1=μ2vsH1:μ1μ2H_{0}: \mu_{1}=\mu_{2} \quad vs \quad H_{1}: \mu_{1} \neq \mu_{2}

的拒绝域, 其中σ1=σ2\sigma_1=\sigma_2已知.

Solution:
σ2=σ12=σ22\sigma^{2}=\sigma_{1}^{2}=\sigma_{2}^{2}, 构造检验统计量 U=(xˉyˉ)σ1n+1mU=\frac{(\bar{x}-\bar{y})}{\sigma \sqrt{\frac{1}{n}+\frac{1}{m}}}, 当原假设成立时, UN(0,1)U \sim N(0,1), 我们认为如果原假设成立时, xˉyˉ|\bar{x}-\bar{y}| 理应很小, 如果 xˉyˉ|\bar{x}-\bar{y}| 比较大我们 就应该拒绝原假设, 因此自然而然地我们得出该检验问题的水平为 α\alpha 的拒绝域:

W={Uu1α2}W=\left\{|U| \geq u_{1-\frac{\alpha}{2}}\right\}

六、(30分) 简答题:

(1)(10分) 简述假设检验中功效,两类错误和 pp 值的概念 ;

(2)(10分) 两类错误能不能同时很小? 为什么?

(3)(10分) 区间估计中的置信区间与假设检验中的拒绝域之间有何联系?请举例说明.

Solution:
(1) 功效的定义是 ρ(θ)=Pθ{XW}\rho(\theta)=P_{\theta}\{\mathbf{X} \in W\}, 表示的是样本落入拒绝域的概率, 是参数 θ\theta 的函数.
两类错误分别是:第一类错误(拒真错误): 原假设成 立时, 样本由于随机性而落入拒绝域; 和第二类错误(取伪错误): 它代表着当原 假设不成立时, 样本由于随机性而落入接受域.
犯第一类错误的概率定义为 α(θ)=Pθ{XW}(θΘ0)\alpha(\theta)=P_{\theta}\{\mathbf{X} \in W\}\left(\theta \in \Theta_{0}\right).
犯第二类错误的概率定义为 β(θ)=1Pθ{XW}(θΘΘ0)\beta(\theta)=1-P_{\theta}\{\mathbf{X} \in W\}\left(\theta \in \Theta-\Theta_{0}\right).
如果拒绝域是 W={T(X)c}W=\{T(\mathbf{X}) \geqslant c\}, 这里 T(X)T(\mathbf{X}) 是检验统计量, cc 是某个常数. 那么 pp 值的定义是: p=supθΘ0P{T(X)T(x)}p=\sup _{\theta \in \Theta_{0}} P\{T(\mathbf{X}) \geqslant T(\mathbf{x})\}, 这里 T(x)T(\mathbf{x}) 表示统计量的观测值. 也就是说 pp 值的概念是:当原假设成立时, 统计量大于它的观测值的概率的上确界(前提是拒绝域的形式是 W={T(X)c}W=\{T(\mathbf{X}) \geqslant c\}, 即当统计量 T(X)T(\mathbf{X}) 较大时进行拒绝). 其他类型 的拒绝域对应的 pp 值可以类似定义. 或简单的介绍为: pp 值是在原假设成立时, 发生比当前观测还要更“极端”的情况的概率, 这里“极端”的概念由拒绝域形式决定. 且 pp 值是可以做出拒绝原假设判断的最小显著性水平.

(2) 当样本容量固定时, 两类错误的概率不可能同时很小. 理由如下:
对于一个假设检验问题, 假设有拒绝域 W1={T(X)c1}W_{1}=\left\{T(\mathbf{X}) \geqslant c_{1}\right\}.
则此时犯第一类错误的概率是 α1(θ)=Pθ{T(X)c1}(θΘ0)\alpha_{1}(\theta)=P_{\theta}\left\{T(\mathbf{X}) \geqslant c_{1}\right\}\left(\theta \in \Theta_{0}\right).
犯第二类错误的概率是 β1(θ)=1Pθ{T(X)c1}=Pθ{T(X)<c1}(θΘΘ0)\beta_{1}(\theta)=1-P_{\theta}\left\{T(\mathbf{X}) \geqslant c_{1}\right\}=P_{\theta}\left\{T(\mathbf{X})<c_{1}\right\}\left(\theta \in \Theta-\Theta_{0}\right).
为使得犯第一类错误的概率减小, 引入另一个拒绝域 W2={T(X)c1+a}(a>0)W_{2}=\left\{T(\mathbf{X}) \geqslant c_{1}+a\right\}(a>0), 而此时犯第一类错误的概率是 α2(θ)=Pθ{T(X)c1+a}(θΘ0)\alpha_{2}(\theta)=P_{\theta}\left\{T(\mathbf{X}) \geqslant c_{1}+a\right\}\left(\theta \in \Theta_{0}\right). 很显然对于 θΘ0\forall \theta \in \Theta_{0}, 有 α2(θ)α1(θ)\alpha_{2}(\theta) \leqslant \alpha_{1}(\theta). 也就是说犯第一类错误的概率减少了. 但是此时, 犯第 二类错误的概率为 β2(θ)=Pθ{T(X)<c1+a}(θΘΘ0)\beta_{2}(\theta)=P_{\theta}\left\{T(\mathbf{X})<c_{1}+a\right\}\left(\theta \in \Theta-\Theta_{0}\right), 同样很显然的是 θΘΘ0\forall \theta \in \Theta-\Theta_{0}, 有 β2(θ)β1(θ)\beta_{2}(\theta) \geqslant \beta_{1}(\theta). 也就是说当一类错误的概率减少时, 另外一类错误 的概率就会增加. 故二者不可能同时很小.

(3) 现有显著性水平为 α\alpha 的拒绝域 W={T(X;θ0)c}W=\left\{T\left(\mathbf{X} ; \theta_{0}\right) \geqslant c\right\} (其中 θ0\theta_{0} 是已知量, 其值由原假 设给出). 那么若将其补集 Wˉ={T(X;θ0)<c}\bar{W}=\left\{T\left(\mathbf{X} ; \theta_{0}\right)<c\right\} (也就是接受域) 中的 θ0\theta_{0} 视作末知参数 θ\theta, 并反解出形如 {L(X)<θ<U(X)}/{θ>L(X)}/{θ<U(X)}\{L(\mathbf{X})<\theta<U(\mathbf{X})\} /\{\theta>L(\mathbf{X})\} /\{\theta<U(\mathbf{X})\} 的集合,那么这一区间 就是参数 θ\theta1α1-\alpha 置信水平的置信区间. 这种求解置信区间的方法也称作反转接 受域.
现在给出一个例子: 正态分布总体(均值 μ\mu 末知, 方差 σ2\sigma^{2} 已知), 给出假设检验 问题: H0:μ<μ0H_{0}: \mu<\mu_{0} vs H1:μμ0H_{1}: \mu \geqslant \mu_{0}
这个假设检验问题显著性水平为 α\alpha 的拒绝域是 W={n(xˉμ0)σz1α}W=\left\{\frac{\sqrt{n}\left(\bar{x}-\mu_{0}\right)}{\sigma} \geqslant z_{1-\alpha}\right\}, 若将其 中 μ0\mu_{0} 视为末知参数 μ\mu, 从其补集 Wˉ={n(xˉμ0)σ<z1α}\bar{W}=\left\{\frac{\sqrt{n}\left(\bar{x}-\mu_{0}\right)}{\sigma}<z_{1-\alpha}\right\} 中可以反解出 {μ>xˉσz1αn}\left\{\mu>\bar{x}-\frac{\sigma z_{1-\alpha}}{\sqrt{n}}\right\}, 而我们知道这正是 μ\mu 的水平为 1α1-\alpha 的置信区间.