清华大学-432统计学-2022年

一、(20分) A,BA, B 独立, 0<P(A)<10<P(A)<1, 找出 A,B,A∪BA, B, A \cup B 相互独立的充要条件.

Solution: 独立意味着: 使得 P(A)P(A∪B)=P(A)P(A)P(A\cup B)=P(A), P(B)P(A∪B)=P(B)P(B)P(A\cup B)=P(B) 以及

P(A)P(B)P(A∪B)=P(AB).P(A)P(B)P(A\cup B) = P(AB).

首先前两个条件显然等价于 P(A∪B)=1P(A\cup B)=1, 而第三个条件关键在于题干 A,BA,B 独立, 第三个式子转化为

P(A)P(B)P(A∪B)=P(AB)=P(A)P(B),P(A)P(B)P(A\cup B) = P(AB) =P(A)P(B),

这也等价于 P(A∪B)=1P(A\cup B)=1. 故A,B,A∪BA, B, A \cup B 相互独立的充要条件是P(A∪B)=1P(A\cup B)=1.

二、(20分) 一个试验若第 nn 次成功, 则第 n+1n+1 次成功的概率为 12\frac{1}{2}, 若失败, 则下一次成功概率为 14\frac{1}{4}, 初始 (第一次) 成功概率是 12\frac{1}{2}. 求:

(1) 第 nn 次成功的概率;

(2) 首次成功时的次数的分布、期望、方差.

Solution:(1) 设 pn=P(An)p_{n}=P\left(A_{n}\right) 为第 nn 次成功, 则

pn=P(An∣An−1)P(An)+P(An∣Aˉn−1)P(Aˉn−1)=12pn−1+14(1−pn−1)=14pn−1+14\begin{aligned} p_{n} &=P\left(A_{n} \mid A_{n-1}\right) P\left(A_{n}\right)+P\left(A_{n} \mid \bar{A}_{n-1}\right) P\left(\bar{A}_{n-1}\right) \\ &=\frac{1}{2} p_{n-1}+\frac{1}{4}\left(1-p_{n-1}\right)=\frac{1}{4} p_{n-1}+\frac{1}{4} \end{aligned}

解差分方程得 pn=1614n−1+13p_{n}=\frac{1}{6} \frac{1}{4^{n-1}}+\frac{1}{3}.
(2) 设首次成功时的次数是 ZZ, 有分布列

P(Z=n)={12,n=118(34)n−2,n≥2P(Z=n)= \begin{cases}\frac{1}{2}, & n=1 \\ \frac{1}{8}\left(\frac{3}{4}\right)^{n-2}, & n \geq 2\end{cases}

一方面, 硬算期望方差是可行的. 另一方面, 我们看出 ZZ 可以拆成第一次两点分布 YY 和后续的几何分布 XX, 即 Z=Y+(1−Y)(1+X)Z=Y+(1-Y)(1+X), 其中 Y=IA1∼B(1,12),X∼Ge(14)Y=I_{A_{1}} \sim B\left(1, \frac{1}{2}\right), X \sim G e\left(\frac{1}{4}\right), 且它们独立, 有分布列

P(Z=n)={P(Y=1)=12,n=1P(Y=0,X=n−1)=18(34)n−2,n≥2P(Z=n)= \begin{cases}P(Y=1)=\frac{1}{2}, & n=1 \\ P(Y=0, X=n-1)=\frac{1}{8}\left(\frac{3}{4}\right)^{n-2}, & n \geq 2\end{cases}

同时有 EZ=3,Var⁡(Z)=E[Var⁡(Z∣X)]+Var⁡[E(Z∣X)]=14E(X2)+Var⁡(X2)=10E Z=3, \operatorname{Var}(Z)=E[\operatorname{Var}(Z \mid X)]+\operatorname{Var}[E(Z \mid X)]=\frac{1}{4} E\left(X^{2}\right)+\operatorname{Var}\left(\frac{X}{2}\right)=10.

三、(60分) X1,⋯ ,XnX_{1}, \cdots, X_{n} 是 i.i.d. 服从 U(0,θ)U(0, \theta) 的随机变量, 定义 Un(A)=Xn+AX1,Vn(B)=X(n)+BX(1)U_{n}(A)=X_{n}+A X_{1}, V_{n}(B)=X_{(n)}+B X_{(1)}.

(1) 求 AA 使 Un(A)U_{n}(A) 无偏;

(2) 求 BB 使 Vn(B)V_{n}(B) 无偏;

(3) 证明: 任意 A,UnA, U_{n} 不相合;

(4) 证明: 任意 B,VnB, V_{n} 弱相合;

(5) Un(−1)U_{n}(-1) 与 Vn(−1)V_{n}(-1) 是否同分布?

(6) 当θ=1\theta=1, 记 Fn(x)F_{n}(x) 是 2n[1−Vn(−1)]2 n\left[1-V_{n}(-1)\right] 的分 布函数, 求极限分布.

Solution: (1) 由于 E(Xn)=E(X1)=θ2E(X_n)=E(X_1)=\frac{\theta}{2}, 因此 A=1A=1 时 Un(A)U_n(A) 无偏.

(2) 由于 X(1)θ∼Beta(1,n)\frac{X_{(1)}}{\theta} \sim Beta(1,n), X(n)θ∼Beta(n,1)\frac{X_{(n)}}{\theta} \sim Beta(n,1), 可以计算出 E(X(1))=1n+1θE(X_{(1)})=\frac{1}{n+1}\theta, E(X(n))=nn+1θE(X_{(n)})=\frac{n}{n+1}\theta, 故 B=1B=1 时 Vn(B)V_n(B) 无偏.

(3) Un(A)U_{n}(A) 的分布与 X2+AX1X_{2}+A X_{1} 相同, 有固定分布, 不可能 依概率收敛到常数, 因此不可能是相合估计.

(4) 根据 X(1)θ∼Beta(1,n)\frac{X_{(1)}}{\theta} \sim Beta(1,n), X(n)θ∼Beta(n,1)\frac{X_{(n)}}{\theta} \sim Beta(n,1), 我们得到 Var(X(1))=Var(X(n))=nθ2(n+1)2(n+2)→0Var(X_{(1)}) = Var(X_{(n)}) = \frac{n\theta^2}{(n+1)^2(n+2)} \to 0, 结合 E(X(1))=1n+1θ→0E(X_{(1)})=\frac{1}{n+1}\theta \to 0, E(X(n))=nn+1θ→θE(X_{(n)})=\frac{n}{n+1}\theta \to \theta, 我们得到

X(1)→p0,X(n)→pθ,X_{(1)} \to_p 0, \quad X_{(n)} \to_p \theta,

因此对任意 BB, 有 Vn(B)→pθ+B⋅0=θV_n(B)\to_p \theta + B\cdot 0 =\theta.

(5) 不同, Un(−1)=Xn−X1U_{n}(-1) = X_n - X_1 可能取负值, Vn(−1)=X(n)−X(1)V_{n}(-1) = X_{(n)} -X_{(1)} 则一定非负. 实际上, 根据次序统计量的分布公式, 有

p1,n(x1,xn)=n!1(n−2)!11(xn−x1)n−21=n(n−1)(xn−x1)n−2,p_{1,n}\left( x_1,x_n \right) =\frac{n!}{1\left( n-2 \right) !1}1\left( x_n-x_1 \right) ^{n-2}1=n\left( n-1 \right) \left( x_n-x_1 \right) ^{n-2},

作变量变换, 设

{R=X(n)−X(1),S=X(1),⇒{r=xn−x1,s=x1,⇒{r=xn−x1,s=x1,\begin{cases} R=X_{\left( n \right)}-X_{\left( 1 \right)},\\ S=X_{\left( 1 \right)},\\ \end{cases}\Rightarrow \begin{cases} r=x_n-x_1,\\ s=x_1,\\ \end{cases}\Rightarrow \begin{cases} r=x_n-x_1,\\ s=x_1,\\ \end{cases}

对应的雅可比行列式是 ∣J∣=1|J|=1, 因此有

pR,S(r,s)=p1,n(s,r+s)=n(n−1)rn−2,0<s<1−r,0<r<1,p_{R,S}\left( r,s \right) =p_{1,n}\left( s,r+s \right) =n\left( n-1 \right) r^{n-2},\quad 0<s<1-r,0<r<1,

积掉 ss, 得

pR(r)=∫01−rn(n−1)rn−2ds=n(n−1)rn−2(1−r),p_R\left( r \right) =\int_0^{1-r}{n\left( n-1 \right) r^{n-2}ds}=n\left( n-1 \right) r^{n-2}\left( 1-r \right) ,

这恰是 Beta(n−1,2)Beta(n-1,2).

(6) 直接计算, 有

Fn(x)=P(2n(1−Vn(−1))≤x)=P(Vn(−1)≥1−x2n),F_n\left( x \right) =P\left( 2n\left( 1-V_n\left( -1 \right) \right) \le x \right) =P\left( V_n\left( -1 \right) \ge 1-\frac{x}{2n} \right) ,

求导得

fn(x)=n(n−1)(1−x2n)n−2(x2n)12n→12xe−x2,f_n\left( x \right) =n\left( n-1 \right) \left( 1-\frac{x}{2n} \right) ^{n-2}\left( \frac{x}{2n} \right) \frac{1}{2n}\rightarrow \frac{1}{2}xe^{-\frac{x}{2}},

这是 Ga(2,12)Ga(2,\frac{1}{2}), 即自由度为 4 的卡方分布. 而对应的分布函数极限是

Fn(x)→1−(1+x/2)e−x/2.F_n(x) \to 1-(1+x / 2) e^{-x / 2}.

四、(15分) 简答题:
(1) p 值的定义;

(2) 接受原假设, 可能犯什么错误;

(3) 解释统计中的交叉验证, 说明用途.

Solution:
(1) 如果拒绝域是 W={T(X)⩾c}W=\{T(\mathbf{X}) \geqslant c\}, 这里 T(X)T(\mathbf{X}) 是检验统计量, cc 是某个常数. 那么 pp 值的定义是: p=sup⁡θ∈Θ0P{T(X)⩾T(x)}p=\sup _{\theta \in \Theta_{0}} P\{T(\mathbf{X}) \geqslant T(\mathbf{x})\}, 这里 T(x)T(\mathbf{x}) 表示统计量的观测值. 也就是说 pp 值的概念是:当原假设成立时, 统计量大于它的观测值的概率的上确界(前提是拒绝域的形式是 W={T(X)⩾c}W=\{T(\mathbf{X}) \geqslant c\}, 即当统计量 T(X)T(\mathbf{X}) 较大时进行拒绝). 其他类型 的拒绝域对应的 pp 值可以类似定义. 或简单的介绍为: pp 值是在原假设成立时, 发生比当前观测还要更“极端”的情况的概率, 这里“极端”的概念由拒绝域形式决定. 且 pp 值是可以做出拒绝原假设判断的最小显著性水平.

(2) 可能发生第二类错误(取伪错误), 即原假设为假, 但样本由于随机性而落入了接受域.

(3) Holdout交叉验证: 将样本数据的一部分(例70%)作为训练数据, 剩下的部分作为测试数据. 利用训练数据训练一个统计模型(例线性模型等), 再计算其在测试数据上的误差(称为交叉验证误差).

K-Fold 交叉验证: 将数据集等量划分为互不重叠的 K 个子集. 我们每次选取其中 K-1 个子集作为训练数据训练出一个统计模型, 并在剩下的 1 个子集上计算误差, 重复 K 次则可以计算得到全体数据上的平均误差, 称为交叉验证误差.

留一交叉验证: 每次留出一个样本, 用剩下 n−1n-1 个样本构建模型, 并计算在留出样本上的误差. 等价于 (n−1)(n-1)-fold 交叉验证.

交叉验证可用于模型选择, 我们通常会比较多个模型的交叉验证误差, 并选取交叉验证误差最小的模型.

五、(20分) 设 X∼P(λ)X \sim \mathcal{P}(\lambda). 考虑用 T(X)=(−2)XT(X)=(-2)^{X} 估计 τ(λ)=e−3λ\tau(\lambda)=e^{-3 \lambda}. 证明它无偏, 并说明是否有不妥, 若有, 如何修正?

Solution: 求期望有

E(T)=∑k=0∞(−2)kλkk!e−λ=∑k=0∞(−2λ)kk!e−λ=e−3λ,E\left( T \right) =\sum_{k=0}^{\infty}{\left( -2 \right) ^k\frac{\lambda ^k}{k!}e^{-\lambda}}=\sum_{k=0}^{\infty}{\frac{\left( -2\lambda \right) ^k}{k!}e^{-\lambda}}=e^{-3\lambda},

因此无偏. 但 τ>0,(−2)X\tau>0,(-2)^{X} 却很可能为负, 很不妥, 此外, XX 越大我 们倾向于认为 λ\lambda 越大, 即认为 e−3λe^{-3 \lambda} 越小, 这个估计没有体现. 对于第一个不妥之处, 可采用 T~=max⁡{T,0}\tilde{T}=\max \{T, 0\}, 对于第二个不妥之处, 可采用 G(X)=e−3XG(X)=e^{-3 X} 估计, 而且它也是 MLE.

六、(15分) 线性回归模型 yi=β0+β1xi+εiy_{i}=\beta_{0}+\beta_{1} x_{i}+\varepsilon_{i}, 其中 εi∼N(0,σ2)\varepsilon_{i} \sim N\left(0, \sigma^{2}\right), 其中 ∑k=1nxk=0\sum_{k=1}^{n} x_{k}=0, 求:

(1) β0,β1\beta_{0}, \beta_{1} 的 MLE;

(2) 求 (β0,β1)\left(\beta_{0}, \beta_{1}\right) 联合 1−α1-\alpha 置信区间.

Solution:
(1) 由题意可知, Yi∼N(β0+β1xi,σ2)Y_i \sim N\left(\beta_0+\beta_1 x_i, \sigma^2\right), 似然函数

L(Y;β0,β1,σ2)=(2πσ2)−n2exp⁡{−12∑i=1n(yi−β0−β1xi)2σ2}L\left(\mathbf{Y} ; \beta_0, \beta_1, \sigma^2\right)=\left(2 \pi \sigma^2\right)^{-\frac{n}{2}} \exp \left\{-\frac{1}{2} \frac{\sum_{i=1}^n\left(y_i-\beta_0-\beta_1 x_i\right)^2}{\sigma^2}\right\}

对数似然函数 ln⁡L=−n2ln⁡(2πσ2)−∑i=1n(yi−β0−β1xi)22σ2\ln L=-\frac{n}{2} \ln \left(2 \pi \sigma^2\right)-\frac{\sum_{i=1}^n\left(y_i-\beta_0-\beta_1 x_i\right)^2}{2 \sigma^2}.
令 {∂ln⁡L∂β0=2∑i=1n(yi−β0−β1xi)2σ2=0∂ln⁡L∂β1=2∑i=1nxi(yi−β0−β1xi)2σ2=0∂ln⁡L∂σ2=−n2σ2+∑i=1n(yi−β0−β1xi)2=02σ4\left\{\begin{array}{l}\frac{\partial \ln L}{\partial \beta_0}=\frac{2 \sum_{i=1}^n\left(y_i-\beta_0-\beta_1 x_i\right)}{2 \sigma^2}=0 \\ \frac{\partial \ln L}{\partial \beta_1}=\frac{2 \sum_{i=1}^n x_i\left(y_i-\beta_0-\beta_1 x_i\right)}{2 \sigma^2}=0 \\ \frac{\partial \ln L}{\partial \sigma^2}=-\frac{n}{2 \sigma^2}+\frac{\sum_{i=1}^n\left(y_i-\beta_0-\beta_1 x_i\right)^2=0}{2 \sigma^4}\end{array} \quad\right., 解得 {β^0=yˉ−xˉlxylxxβ^1=lxylxxσ^2=∑i=1n[yi−β^0−β^1xi]2n\left\{ \begin{array}{c} \hat{\beta}_0=\bar{y}-\bar{x}\frac{l_{xy}}{l_{xx}}\\ \hat{\beta}_1=\frac{l_{xy}}{l_{xx}}\\ \hat{\sigma}^2=\frac{\sum_{i=1}^n{\left[ y_i-\hat{\beta}_0-\hat{\beta}_1x_i \right] ^2}}{n}\\ \end{array} \right.
其中 {lxx=∑i=1n(xi−xˉ)2=∑i=1nxi2−nxˉ2lyy=∑i=1n(yi−yˉ)2=∑i=1nyi2−nyˉ2lxy=∑i=1n(xi−xˉ)(yi−yˉ)=∑i=1nxiyi−nxˉyˉ\left\{\begin{array}{l}l_{x x}=\sum_{i=1}^n\left(x_i-\bar{x}\right)^2=\sum_{i=1}^n x_i^2-n \bar{x}^2 \\ l_{y y}=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2=\sum_{i=1}^n y_i^2-n \bar{y}^2 \\ l_{x y}=\sum_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)=\sum_{i=1}^n x_i y_i-n \bar{x} \bar{y}\end{array}\right.

代入 xˉ=0\bar{x}=0, 我们还能进一步得到 β^0=yˉ,β^1=∑xiyi∑xi2\hat{\beta}_{0}=\bar{y}, \hat{\beta}_{1}=\frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}}.

(2) 可以证明 Cov(β^0,β^1)=0Cov(\hat{\beta}_{0},\hat{\beta}_1)=0. 先求Var(β^1)Var(\hat{\beta}_1), 有

Var(β^1)=1lxx2Var(∑i=1n(xi−xˉ)yi)=1lxx2∑i=1n(xi−xˉ)2Var(yi)=σ2lxx,Var\left( \hat{\beta}_1 \right) =\frac{1}{l_{xx}^{2}}Var\left( \sum_{i=1}^n{\left( x_i-\bar{x} \right) y_i} \right) =\frac{1}{l_{xx}^{2}}\sum_{i=1}^n{\left( x_i-\bar{x} \right) ^2Var\left( y_i \right)}=\frac{\sigma ^2}{l_{xx}},

再求Cov(β^1,yˉ)Cov(\hat{\beta}_1,\bar{y}), 无论β^1\hat{\beta}_1还是yˉ\bar{y}, 都是y1,⋯ ,yny_1,\cdots,y_n的线性组合, 由样本的性质, 如果i≠ji\neq j, 则Cov(yi,yj)=0Cov(y_i,y_j)=0, 故

Cov(β^1,yˉ)=1nlxxCov(∑i=1n(xi−xˉ)yi,∑j=1nyj)=1nlxx∑i=1nCov((xi−xˉ)yi,yi)=σ2nlxx∑i=1n(xi−xˉ)=0.\begin{aligned} Cov\left( \hat{\beta}_1,\bar{y} \right) &=\frac{1}{nl_{xx}}Cov\left( \sum_{i=1}^n{\left( x_i-\bar{x} \right) y_i},\sum_{j=1}^n{y_j} \right)\\ &=\frac{1}{nl_{xx}}\sum_{i=1}^n{Cov}\left( \left( x_i-\bar{x} \right) y_i,y_i \right)\\ &=\frac{\sigma ^2}{nl_{xx}}\sum_{i=1}^n{\left( x_i-\bar{x} \right)}=0.\\ \end{aligned}

因此有

Cov(β^1,β^0)=−xˉVar(β^1)=−xˉlxxσ2.Cov\left( \hat{\beta}_1,\hat{\beta}_0 \right) =-\bar{x}Var\left( \hat{\beta}_1 \right) =-\frac{\bar{x}}{l_{xx}}\sigma ^2.

而 xˉ=0\bar{x}=0, 这说明 β^0\hat{\beta}_0 与 β^1\hat{\beta}_{1} 独立, 故只需分别构造 1−α11-\alpha_{1} 置信区间, 其中 (1−α1)2=1−α\left(1-\alpha_{1}\right)^{2}=1-\alpha.

其中 β^1∼N(β1,σ2lxx)\hat{\beta}_1 \sim N(\beta_1,\frac{\sigma^2}{l_{xx}}), β^0∼N(β0,σ2n)\hat{\beta}_0 \sim N(\beta_0,\frac{\sigma^2}{n}), 用 σ~2=1n−2∑i=1n(yi−β^0−β^1xi)2\tilde{\sigma}^2 =\frac{1}{n-2}\sum_{i=1}^n (y_i-\hat{\beta}_0 -\hat{\beta}_1x_i)^2 去替换构造 tt 分布区间, 即

{(β0,β1):β^0−σ~nt1−α12<β0<β^0+σ~nt1−α12,β^1−σ~lxxt1−α12<β1<β^1+σ~lxxt1−α12}\left\{ \left( \beta _0,\beta _1 \right) :\hat{\beta}_0-\frac{\tilde{\sigma}}{\sqrt{n}}t_{1-\frac{\alpha _1}{2}}<\beta _0<\hat{\beta}_0+\frac{\tilde{\sigma}}{\sqrt{n}}t_{1-\frac{\alpha _1}{2}},\hat{\beta}_1-\frac{\tilde{\sigma}}{\sqrt{l_{xx}}}t_{1-\frac{\alpha _1}{2}}<\beta _1<\hat{\beta}_1+\frac{\tilde{\sigma}}{\sqrt{l_{xx}}}t_{1-\frac{\alpha _1}{2}} \right\}

是联合的置信区间.