中国科学技术大学-812概率论与数理统计-2024年

一、(20分) 独立地多次抛掷一枚硬币，每次正面朝上的概率为 pp, 当出现连续2次正面朝上的情况时停止抛掷. 记 nn 为正整数，求抛掷过程中正面朝上的次数大于 nn 的概率.

Solution: 设 XX 表示停止抛掷时正面朝上的次数, 考虑 P(X=n+k),k≥1P(X=n+k), k\geq 1, 由于停止抛掷时必定是连续2次正面朝上, 因此只需使前 n+k−1n+k-1 正面朝上不连续, 利用插空法以及负二项分布的正则性有，

P(X=n+k)=∑m=n+k−2∞Cmn+k−2pn+k(1−p)m=pn+k∑m=n+k−2∞Cmn+k−2(1−p)m=p(1−p)n+k−2.\begin{aligned} P(X=n+k)= \sum_{m=n+k-2}^\infty C_m^{n+k-2}p^{n+k}(1-p)^{m} = p^{n+k} \sum_{m=n+k-2}^\infty C_m^{n+k-2}(1-p)^{m}= p(1-p)^{n+k-2}. \end{aligned}

故所求概率为

P(X>n)=∑k=1∞P(X=n+k)=∑k=1∞p(1−p)n+k−2=(1−p)n−1.\begin{aligned} P(X>n)=\sum_{k=1}^\infty P(X=n+k)=\sum_{k=1}^\infty p(1-p)^{n+k-2}=(1-p)^{n-1}. \end{aligned}

二、(15分) 设 X,YX,Y 是独立同分布的随机变量，且 XX 的密度函数为

f(x)={12πx3e−12x,x>0,0,x≤0.f(x)=\begin{cases} \frac{1}{\sqrt{2\pi x^3}}e^{-\frac{1}{2x}}, & x>0,\\ 0, & x\leq 0. \end{cases}

求 X−4+Y−4X^{-4}+Y^{-4} 的分布.

Solution: 令 U=X−4,V=Y−4U = X^{-4}, V= Y^{-4}, 则 UU 的密度函数为

fU(u)=fX(u−1/4)∣dxdu∣=142πu−78e−12u1/4I(u>0).f_U(u)=f_X(u^{-1/4})\left|\frac{dx}{du}\right|=\frac{1}{4\sqrt{2\pi}}u^{-\frac{7}{8}}e^{-\frac{1}{2}u^{1/4}}I(u>0).

从而我们可以得到 T=U+VT=U+V 的分布为

fT(t)=∫0tfU(t−x)fV(x)dxf_T(t)=\int_0^t f_U(t-x)f_V(x) dx

Remark: 令 U=X−1U=X^{-1}, 我们可以发现 U∼Ga(12,12)=χ2(1)U\sim Ga\left( \frac{1}{2},\frac{1}{2}\right)=\chi^2(1). 从而所求分布为两个 χ2(1)\chi^2(1) 分布四次方的和.

三、(20分) 设 XX 是标准正态随机变量, 对 t∈Rt\in \mathbb{R}, 定义 g(x)=etxg(x)=e^{tx}.
(1)(10分) 计算 E(g(X))E(g(X)).
(2)(10分) 证明 E(Xg(X))=E(g′(X))E(Xg(X))=E(g^{'}(X)).

Solution: (1) 正态分布的矩母函数 Eg(X)=e12t2Eg(X)=e^{\frac{1}{2}t^2}.

(2) Stein引理的证明已经出现过很多次, 这里不在赘述, 见专题班.

四、(21分) 设 {Xnk,n=1,2,⋯ ,k=1,2,⋯ ,n}\{X_{nk}, n=1,2,\cdots, k = 1,2,\cdots, n\} 是一族随机变量. 当 n<kn<k 时， 定义 Xnk=0X_{nk}=0. 假设对于任意固定的 k≥1k\geq 1， Xnk→p0 (n→∞)X_{nk}\overset{p}{\to}0\ (n\to\infty).
(1)(7分) 对于固定的 m≥1m\geq 1, 证明 ∑k=1mXnk→p0\sum_{k=1}^m X_{nk}\overset{p}{\to}0.
(2)(7分) 举例说明 ∑k=1mXnk→p0\sum_{k=1}^m X_{nk}\overset{p}{\to}0 不一定成立.
(3)(7分) 进一步假设 lim sup⁡m→∞lim sup⁡n→∞∑k=m+1nE∣Xnk∣=0\limsup\limits_{m\to \infty}\limsup\limits_{n\to \infty} \sum_{k=m+1}^n E|X_{nk}|=0, 证明 lim⁡m→∞∑k=1mXnk→p0\lim\limits_{m\to \infty}\sum_{k=1}^m X_{nk}\overset{p}{\to}0.

Solution: (1) 由于 mm 是有限固定的, 由经典结论: 若 X→p0,Y→p0X\overset{p}{\to}0, Y\overset{p}{\to}0, 则 X+Y→p0X+Y\overset{p}{\to}0, 可知有 ∑k=1mXnk→p0 (n→∞)\sum_{k=1}^m X_{nk}\overset{p}{\to}0\ (n\to\infty).

(2) 考虑 Xnk=1nX_{nk}=\frac{1}{n}, 此时满足对于任意固定的 k≥1k\geq 1， Xnk→p0 (n→∞)X_{nk}\overset{p}{\to}0\ (n\to\infty). 但此时

∑k=1mXnk=∑k=1n1n=1 (m=n→∞)\sum_{k=1}^m X_{nk}=\sum_{k=1}^n \frac{1}{n}=1 \ (m=n\to\infty)

(3) 由Markov不等式

P(∣∑k=m+1nXnk∣>ε)≤P(∑k=m+1n∣Xnk∣>ε)≤∑k=m+1nE∣Xnk∣εP\left( \left|\sum_{k=m+1}^nX_{nk}\right|>\varepsilon \right)\leq P\left( \sum_{k=m+1}^n\left|X_{nk}\right|>\varepsilon \right)\leq \frac{\sum_{k=m+1}^n E|X_{nk}|}{\varepsilon}

由 lim sup⁡m→∞lim sup⁡n→∞∑k=m+1nE∣Xnk∣=0\limsup\limits_{m\to \infty}\limsup\limits_{n\to \infty} \sum_{k=m+1}^n E|X_{nk}|=0 可知

∑k=m+1nXnk→p0 (n→∞,m→∞),\sum_{k=m+1}^n X_{nk}\overset{p}{\to} 0 \ (n\to \infty, m\to \infty),

即

∑k=m+1∞Xnk→p0 (m→∞).\sum_{k=m+1}^{\infty} X_{nk}\overset{p}{\to} 0 \ (m\to \infty).

这表明对于任意 ε>0,∃m0>0\varepsilon>0,\exist m_0>0, s.t.

P(∣∑k=m0+1∞Xnk∣>ε)→0.P\left( \left|\sum_{k=m_0+1}^\infty X_{nk}\right|>\varepsilon \right) \to 0.

结合第(1)问, 我们有

P(∣∑k=1∞Xnk∣>ε)≤P(∣∑k=1m0Xnk∣>ε)+P(∣∑k=m0+1∞Xnk∣>ε)→0.P\left( \left|\sum_{k=1}^\infty X_{nk}\right|>\varepsilon \right)\leq P\left( \left|\sum_{k=1}^{m_0} X_{nk}\right|>\varepsilon \right)+P\left( \left|\sum_{k=m_0+1}^\infty X_{nk}\right|>\varepsilon \right)\to 0.

即 ∑k=1mXnk→p0\sum_{k=1}^m X_{nk}\overset{p}{\to}0.

Remark: {Xnk}\{X_{nk}\} 便是在统计中常用的triangular null array, 不仅有对于这类array的相合性质, 同样也有对应的中心极限定理, 感兴趣的同学可以自行搜索.

五、(24分) X1,⋯ ,XnX_1,\cdots, X_n 是来自均匀分布 U(0,θ)U(0,\theta) 的简单随机样本.
(1)(12分) 基于 θ\theta 的矩估计, 利用中心极限定理构造 θ\theta 的 1−α1-\alpha 的大样本置信区间.
(2)(12分) 基于 θ\theta 的极大似然估计构造 θ\theta 的 1−α1-\alpha 的置信区间.

Solution: (1) EX=θ/2EX=\theta/2, 从而 θ^M=2Xˉ\hat{\theta}_M = 2\bar{X}. 由CLT, 有

n(θ^M−θ)θ/3→dN(0,1),\frac{\sqrt{n}(\hat{\theta}_M-\theta)}{\theta/\sqrt{3}}\overset{d}{\to} N(0,1),

进而有 θ\theta 的 1−α1-\alpha 的大样本置信区间为

[(1+u1−α/23n)−1θ^M,(1−u1−α/23n)−1θ^M]\left[ \left(1+\frac{u_{1-\alpha/2}}{\sqrt{3n}} \right)^{-1}\hat{\theta}_M, \left(1-\frac{u_{1-\alpha/2}}{\sqrt{3n}} \right)^{-1}\hat{\theta}_M\right]

(2) 显然有 θ^MLE=X(n)\hat{\theta}_{MLE}=X_{(n)}. 考虑

P(n(θ−θ^MLE)>x)=P(X(n)<θ−xn)=(1−xnθ)n→e−xθ,P\left(n\left(\theta-\hat{\theta}_{MLE}\right)> x\right)=P\left( X_{(n)}< \theta - \frac{x}{n}\right)= \left( 1-\frac{x}{n\theta}\right)^n \to e^{-\frac{x}{\theta}},

这是经典结论, 即 P(n(θ−θ^MLE)≤x)→1−e−xθP\left(n\left(\theta-\hat{\theta}_{MLE}\right)\leq x\right)\to 1-e^{-\frac{x}{\theta}} , 表明了

n(θ−θ^MLE)∼Exp(1θ).n\left(\theta-\hat{\theta}_{MLE}\right)\sim Exp\left( \frac{1}{\theta}\right).

从而我们利用 2n(θ−θ^MLE)/θ∼χ2(2)2n\left(\theta-\hat{\theta}_{MLE}\right)/\theta\sim \chi^2(2), 有 θ\theta 的 1−α1-\alpha 的置信区间为

[(1−χα/22(2)2n)−1θ^MLE,(1−χ1−α/22(2)2n)−1θ^MLE]\left[ \left( 1-\frac{\chi^2_{\alpha/2}(2)}{2n}\right)^{-1}\hat{\theta}_{MLE}, \left( 1-\frac{\chi^2_{1-\alpha/2}(2)}{2n}\right)^{-1}\hat{\theta}_{MLE}\right]

六、(25分) 设 (Xi,Yi)T,i=1,2,⋯ ,n(X_i, Y_i)^T, i=1,2,\cdots, n 是二维正态分布 N(μ1,μ2;σ12,σ22;ρ)N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho) 的简单随机样本. 其密度函数为

f(x,y)=12πσ1σ21−ρ2exp⁡{−12(1−ρ2)[(x−μ1)2σ12−2ρ(x−μ1)(y−μ2)σ1σ2+(y−μ2)2σ22]},f(x,y) =\frac{1}{2\pi\sigma_1\sigma_2 \sqrt{1-\rho^2}}\exp\left\{ -\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2} \right]\right\},

其中 μ1,μ2,σ1,σ2,ρ\mu_1,\mu_2,\sigma_1,\sigma_2,\rho 为参数.
(1)(10分) 检验问题 H0:μ1=μ2↔H1:μ1≠μ2H_0: \mu_1 = \mu_2 \leftrightarrow H_1: \mu_1 \not = \mu_2. 写出检验统计量和水平为 α\alpha 下的拒绝域.
(2)(15分) 若 μ1=μ2=μ,σ12=σ22=σ2\mu_1=\mu_2=\mu, \sigma_1^2=\sigma_2^2=\sigma^2, 求 μ,σ2,ρ\mu,\sigma^2,\rho 的极大似然估计. (要求写出详细的推导过程)

Solution: (1) 考虑

n(Xˉ−Yˉ−(μ1−μ2))σ12+σ22−2ρσ1σ2∼N(0,1),\frac{\sqrt{n}(\bar{X}-\bar{Y}-(\mu_1-\mu_2))}{\sqrt{\sigma_1^2+\sigma_2^2-2\rho\sigma_1\sigma_2}}\sim N(0,1),

以及 σ^12=1n∑i=1n(Xi−Xˉ)2→pσ12,σ^22=1n∑i=1n(Yi−Yˉ)2→pσ22,ρ^=∑i=1n(Xi−Xˉ)(Yi−Yˉ)∑i=1n(Xi−Xˉ)2∑i=1n(Yi−Yˉ)2→pρ\hat{\sigma}_1^2 = \frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2\overset{p}{\to} \sigma_1^2,\hat{\sigma}_2^2 = \frac{1}{n}\sum_{i=1}^n(Y_i-\bar{Y})^2\overset{p}{\to} \sigma_2^2, \hat{\rho} = \frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{\sum_{i=1}^n(X_i-\bar{X})^2\sum_{i=1}^n(Y_i-\bar{Y})^2}}\overset{p}{\to} \rho. 由Slutsky定理, 有

n(Xˉ−Yˉ−(μ1−μ2))σ^12+σ^22−2ρ^σ^1σ^2∼N(0,1).\frac{\sqrt{n}(\bar{X}-\bar{Y}-(\mu_1-\mu_2))}{\sqrt{\hat{\sigma}_1^2+\hat{\sigma}_2^2-2\hat{\rho}\hat{\sigma}_1\hat{\sigma}_2}}\sim N(0,1).

从而检验统计量为

T=n(Xˉ−Yˉ)σ^12+σ^22−2ρ^σ^1σ^2,T = \frac{\sqrt{n}(\bar{X}-\bar{Y})}{\sqrt{\hat{\sigma}_1^2+\hat{\sigma}_2^2-2\hat{\rho}\hat{\sigma}_1\hat{\sigma}_2}},

并且拒绝域为

W={∣T∣>u1−α/2}.W=\left\{ |T|>u_{1-\alpha/2}\right\}.

(2)对数似然为

l(μ,σ,ρ)=C−nlog⁡σ2−n2log⁡(1−ρ2)−12(1−ρ2)∑i=1n[(Xi−μ)2σ2−2ρ(Xi−μ)(Yi−μ)σ2+(Yi−μ)2σ2]l(\mu,\sigma,\rho)=C-n\log\sigma^2 -\frac{n}{2}\log(1-\rho^2)-\frac{1}{2(1-\rho^2)}\sum_{i=1}^n\left[\frac{(X_i-\mu)^2}{\sigma^2}-2\rho\frac{(X_i-\mu)(Y_i-\mu)}{\sigma^2}+\frac{(Y_i-\mu)^2}{\sigma^2} \right]

求偏导有

∂l(μ,σ,ρ)∂μ=1+ρσ2(1−ρ2)∑i=1n(Xi+Yi−2μ)=0∂l(μ,σ,ρ)∂σ2=−nσ2+12(σ2)2(1−ρ2)∑i=1n[(Xi−μ)2−2ρ(Xi−μ)(Yi−μ)+(Yi−μ)2]=0∂l(μ,σ,ρ)∂ρ=nρ1−ρ2−ρσ2(1−ρ2)2∑i=1n[(Xi−μ)2−2ρ(Xi−μ)(Yi−μ)+(Yi−μ)2]+1σ2(1−ρ2)∑i=1n(Xi−μ)(Yi−μ)=0\begin{aligned} \frac{\partial l(\mu,\sigma,\rho)}{\partial \mu} & = \frac{1+\rho}{\sigma^2(1-\rho^2)}\sum_{i=1}^n\left( X_i+Y_i-2\mu\right)=0\\ \frac{\partial l(\mu,\sigma,\rho)}{\partial \sigma^2} & = -\frac{n}{\sigma^2}+\frac{1}{2(\sigma^2)^2(1-\rho^2)}\sum_{i=1}^n\left[(X_i-\mu)^2-2\rho(X_i-\mu)(Y_i-\mu)+(Y_i-\mu)^2 \right]=0\\ \frac{\partial l(\mu,\sigma,\rho)}{\partial \rho} & = \frac{n\rho}{1-\rho^2}-\frac{\rho}{\sigma^2(1-\rho^2)^2}\sum_{i=1}^n\left[(X_i-\mu)^2-2\rho(X_i-\mu)(Y_i-\mu)+(Y_i-\mu)^2\right]+\frac{1}{\sigma^2(1-\rho^2)}\sum_{i=1}^n(X_i-\mu)(Y_i-\mu)=0 \end{aligned}

可以解得

{μ^=12n∑i=1n(Xi+Yi)=12(Xˉ+Yˉ)σ^2=12n(1−ρ^2)∑i=1n[(Xi−μ^)2−2ρ^(Xi−μ^)(Yi−μ^)+(Yi−μ^)2]ρ^=1n∑i=1n(Xi−μ^)(Yi−μ^)\begin{cases} \hat{\mu}= \frac{1}{2n}\sum_{i=1}^n\left( X_i+Y_i\right)=\frac{1}{2}\left(\bar{X}+\bar{Y} \right)\\ \hat{\sigma}^2=\frac{1}{2n(1-\hat{\rho}^2)}\sum_{i=1}^n\left[(X_i-\hat{\mu})^2-2\hat{\rho}(X_i-\hat{\mu})(Y_i-\hat{\mu})+(Y_i-\hat{\mu})^2 \right]\\ \hat{\rho}=\frac{1}{n}\sum_{i=1}^n (X_i-\hat{\mu})(Y_i-\hat{\mu}) \end{cases}

七、(25分) 已知二元线性回归模型 yi=αxi+βzi+ϵiy_i = \alpha x_i+\beta z_i + \epsilon_i, 其中 ϵi,i=1,2,⋯ ,n\epsilon_i, i =1,2,\cdots, n 独立同服于 N(0,σ2)N(0,\sigma^2). x=(x1,⋯ ,xn)T,z=(z1,⋯ ,zn)Tx=(x_1,\cdots, x_n)^T, z=(z_1,\cdots,z_n)^T 是自变量, y=(y1,⋯ ,yn)Ty=(y_1,\cdots, y_n)^T 是因变量. 即 X=(x,z)n×2X=(x,z)_{n\times 2}, InI_n 为 nn 阶单位阵, 假设 XTXX^TX 可逆.
(1)(10分) 证明 (α,β)T(\alpha, \beta)^T 的极大似然估计和最小二乘估计都是 (α^,β^)T=(XTX)−1XTy(\hat{\alpha},\hat{\beta})^T=(X^{T}X)^{-1}X^Ty.
(2)(15分) 记 Px=x(xTx)−1xT,β~=(zT(In−Px)z)−1zT(In−Px)yP_x = x(x^{T}x)^{-1}x^T, \tilde{\beta}=(z^T(I_n-P_x)z)^{-1}z^T(I_n-P_x)y, 说明 β~=β^\tilde{\beta} = \hat{\beta}, 并求 β~\tilde{\beta} 的分布.

Solution: (1) 记 θ=(α,β)T\theta = (\alpha, \beta)^T, 由题意有, y=Xθ+εy = X\theta+\varepsilon.

线性回归模型的极大似然估计以及最小二乘估计出现过很多了, 这里不再重复. 显然有 θ^=(α^,β^)T=(XTX)−1XTy\hat{\theta}=(\hat{\alpha},\hat{\beta})^T=(X^{T}X)^{-1}X^Ty.

(2) [法一] 直接带入 XX, 我们有

XTX=(xTxxTzzTxzTz).X^{T}X = \begin{pmatrix} x^Tx & x^Tz\\ z^Tx & z^Tz \end{pmatrix}.

利用分块矩阵逆或者是直接计算 2×22\times 2 矩阵的逆, 可以得到

(XTX)−1=(xTxzTz−xTzzTx)−1(zTz−xTz−zTxxTx).(X^{T}X)^{-1} = \left( x^Txz^Tz - x^Tzz^Tx\right)^{-1} \begin{pmatrix} z^Tz & -x^Tz\\ -z^Tx & x^Tx \end{pmatrix}.

之后带入计算即可.

[法二] 这里我们使用另一种方法, 记 Nx=In−PxN_{x} = I_n-P_x. 首先将方程改写,

y=xα+zβ+ϵ=xα+Pxzβ+Nxzβ+ϵ:=α0+Nxzβ+ϵ\begin{aligned} y &= x\alpha + z\beta + \epsilon \\ &=x \alpha + P_xz \beta + N_x z\beta + \epsilon\\ &:= \alpha_0 + N_x z\beta+ \epsilon \end{aligned}

其中 α0=xα+Pxzβ\alpha_0 = x \alpha + P_xz \beta. 从而有

α^0=yˉ,β^=(zTNxz)−1zTNxy\hat{\alpha}_0 = \bar{y},\hat{\beta} = \left( z^TN_xz\right)^{-1}z^TN_xy

这说明了 β~=β^\tilde{\beta} = \hat{\beta}, 对 α^\hat{\alpha} 用同样的技巧也可以说明. 而 β~\tilde{\beta} 是正态分布的线性组合, 因此只需要说明其均值和方差即可, 我们直接计算有

Eβ~=(zTNxz)−1zTNx(xα+zβ)=(zTNxz)−1zTNxzβ=βVar(β~)=(zTNxz)−1zTNxVar(y)Nxz(zTNxz)−1=σ2(zTNxz)−1\begin{aligned} E\tilde{\beta}& = \left( z^TN_xz\right)^{-1}z^TN_x\left(x\alpha + z\beta\right)=\left( z^TN_xz\right)^{-1}z^TN_x z\beta=\beta\\ Var\left( \tilde{\beta}\right)&=\left( z^TN_xz\right)^{-1}z^TN_x Var(y)N_xz\left( z^TN_xz\right)^{-1}=\sigma^2\left( z^TN_xz\right)^{-1} \end{aligned}

故 β~∼N(β,σ2(zTNxz)−1)\tilde{\beta} \sim N\left(\beta, \sigma^2\left( z^TN_xz\right)^{-1}\right).