清华大学-432统计学-2023年

一、(20分) 已知 XX 服从 f(x)=ce−x2(1+e−x2)2,−∞<x<∞f(x)=c \frac{e^{-\frac{x}{2}}} {(1+e^{-\frac{x}{2}})^2}, -\infty<x<\infty.

(1) 求 cc;
(2) 令 Y=X3Y=X^3,求YY的密度函数.

Solution:

(1) 积分得

∫−∞∞e−x2(1+e−x2)2=2∫0∞dx(1+x)2=2,\int_{-\infty}^\infty \frac{e^{-\frac{x}{2}}} {(1+e^{-\frac{x}{2}})^2} = 2\int_0^\infty \frac{dx}{(1+x)^2} = 2,

由密度函数的正则性, c=12c=\frac{1}{2}.

(2) 用微分法, ∀y∈R\forall y\in \mathbb{R},

P(Y=y)=P(X=y13)=f(y13)∣ddyy13∣=16y−23e−y132(1+e−y132)2dy.P(Y=y)=P(X=y^{\frac{1}{3}})=f(y^{\frac{1}{3}})\left| \frac{d}{dy}y^{\frac{1}{3}} \right|=\frac{1}{6}\frac{y^{-\frac{2}{3}}e^{-\frac{y^{\frac{1}{3}}}{2}}}{(1+e^{-\frac{y^{\frac{1}{3}}}{2}})^2}dy.

故密度函数是

fY(y)=16y−23e−y132(1+e−y132)2,y∈R.f_Y(y)=\frac{1}{6}\frac{y^{-\frac{2}{3}}e^{-\frac{y^{\frac{1}{3}}}{2}}}{(1+e^{-\frac{y^{\frac{1}{3}}}{2}})^2},\quad y\in\mathbb{R}.


二、(20分) 已知 XX 的密度函数为

f(x;θ)=3x2θ3,0<x<θ,f(x;\theta )=\frac{3x^2}{\theta ^3},0<x<\theta ,

其中 θ\theta 的先验分布是 U(0,1)U(0,1). 求后验分布 π(θ∣X=x)\pi(\theta\vert X=x).

Solution: 利用条件分布理论, 有

π(θ∣X=x)∝f(x∣θ)π(θ)∝1θ3I{x<θ<1},\pi(\theta\vert X=x) \propto f(x\vert \theta)\pi(\theta) \propto \frac{1}{\theta^3}I\{x<\theta<1\},

由正则性: π(θ∣X=x)=2x2(1−x2)θ3,x<θ<1.\pi(\theta\vert X=x)= \frac{2x^2}{(1-x^2)\theta^3},x<\theta<1.

三、(20分) 证明: TT 是 θ\theta 的无偏估计, 则 T(x)T(x) 是θ\theta的UMVUE的充要条件是对任意零的无偏估计UU,都有E[TU]=0.E[TU]=0.

Solution: [法一]: 对退化的零无偏估计, 显然 E[TU]=0E[TU]=0. 而对任一其他无偏估计 T~\tilde{T} 都可写为 T~=T+U\tilde{T} = T+ U 的形式, 其中 UU 是某非退化的零的无偏估计. 对每个 UU, 可作标准化 V=UVar(U)V= \frac{U}{\sqrt{Var(U)}}, 则有 T~=T+λV\tilde{T} = T+\lambda V, 其中 λ2=Var(U)\lambda^2 =Var(U).

令 W(λ)=Var(T+λV)W(\lambda) = Var(T+\lambda V), TT 是UMVUE 意味着对任意 VV, 都有 W(λ)W(\lambda) 在 λ=0\lambda = 0 取最小值, 而

W(λ)=Var(T)+2λCov(T,V)+λ2Var(V),W(\lambda) = Var(T) + 2\lambda Cov(T,V) + \lambda^2 Var(V),

求导有

W′(λ)=2Cov(T,V)+2λ,W′′(λ)=2>0,W'(\lambda) = 2Cov(T,V) + 2\lambda,\quad W''(\lambda) = 2>0,

对于二阶可导凸函数, 在 λ=0\lambda=0 取极小值等价于 W′(0)=0W'(0)=0, 即 Cov(T,V)=0Cov(T,V)=0, 即 E[TV]=0E[TV]=0, E[TU]=0E[TU]=0.

[法二]: (1) 充分性.
若对任意0的无偏估计UU,均有Cov(T,U)=0.Cov(T,U)=0.任取θ\theta的无偏估计T^,\hat{T},令
ϕ=T^−T,\phi=\hat{T} - T,则ϕ\phi为0的无偏估计,

Var(T^)=Var(T+ϕ)=Var(T)+Var(ϕ)≥Var(T)Var(\hat{T}) = Var(T+\phi) = Var(T) + Var(\phi) \geq Var(T)

即任意θ\theta的无偏估计的方差均不小于TT的方差, TT为θ\theta的UMVUE.

(2) 必要性:
若TT为UMVUE,假设存在U0U_0, s.t. Cov(T,U0)≠0Cov(T,U_0)\neq 0, 不妨设Cov(T,U0)>0Cov(T,U_0) > 0.则对任意rr, T+rU0T+rU_0仍然为θ\theta的无偏估计,而

Var(T+rU0)=Var(T)+r2Var(U0)+2rCov(T,U0),Var(T+rU_0) = Var(T) + r^2Var(U_0) +2rCov(T,U_0),

取2Cov(T,U0)Var(U0)<r<0\frac{2Cov(T,U_0)}{Var(U_0)}<r<0, 则Var(T+rU0)<Var(T)Var(T+rU_0)<Var(T), 与假设矛盾. 故对任意0的无偏估计UU, 均有Cov(T,U)=0.Cov(T,U)=0.

四、(20分) 设 Xi∼N(μ,σ2)X_i\sim \mathcal{N}(\mu,\sigma^2), i=1,2,...,ni=1,2,...,n, 其中 σ\sigma已知. 求如下假设检验问题的UMPT, 若UMPT不存在, 请说明理由.
(1) H0:μ=μ0v.s.H1:μ=μ1<μ0H_0:\mu = \mu_0 \quad \text{v.s.} \quad H_1:\mu = \mu_1 < \mu_0.
(2) H0:μ=μ0v.s.H1:μ≠μ0H_0:\mu = \mu_0\quad \text{v.s.}\quad H_1:\mu \neq \mu_0.

Solution:

(1) 记 X1,...,XnX_1,...,X_n 的联合密度函数为f(x1,...,xn∣μ)f(x_1,...,x_n\vert \mu). 由N-P引理,拒绝域

W={f(x1,...,xn;μ1)f(x1,...,xn;μ0)>c}={∑i=1nXi<c0}W=\left\{ \frac{f(x_1,...,x_n;\mu _1)}{f(x_1,...,x_n;\mu _0)}>c \right\} =\left\{ \sum_{i=1}^n{X_i}<c_0 \right\}

是UMPT. 考虑显著性水平为α\alpha的情形, 原假设下由于 ∑i=1nXin∼N(μ0,σ2n)\frac{\sum_{i=1}^n X_i}{n} \sim N(\mu_0,\frac{\sigma^2}{n}), 因此有

W={Xˉ<−σz1−αn+μ0}.W=\left\{ \bar{X}<-\sigma z_{1-\alpha}\sqrt{n}+\mu _0 \right\}.

(2) 考虑∀μ1<μ0,μ=μ1\forall \mu_1<\mu_0, \mu= \mu_1作为备择假设, 由 (1) 可知,落入WW 时拒绝原假设在 μ1\mu_1 有最高的功效. 由N-P引理, 若
H0:μ=μ0   v.s.   H1:μ≠μ0H_0:\mu = \mu_0\,\,\, \text{v.s.} \,\,\, H_1:\mu \neq \mu_0 存在UMPT,
则其拒绝域与W仅在一个满足

∫Af(x1,...,xn∣μ0)=∫Af(x1,...,xn∣μ1)=0\int_Af(x_1,...,x_n\vert \mu_0)=\int_Af(x_1,...,x_n\vert \mu_1)=0

的A上不同.

易知, W′={Xˉ>σz1−α/n+μ0}W'=\{\bar{X}>\sigma z_{1-\alpha}/\sqrt{n}+\mu_0\} 为右侧假设时的UMPT, 它在 μ1>μ0\mu_1>\mu_0 时有最高功效.

显然, 如果要在 μ∈R\mu \in R 上都有最高功效, 那它又要和 WW 几乎处处相等, 又要和 W′W' 几乎处处相等, 但 WW 和 W′W' 并非几乎处处相等, 故这是不可能做到的.

五、(40分) X1,X2,...,Xn∼P(λ)X_1,X_2,...,X_n\sim \mathcal{P}(\lambda), 并且彼此独立.
(1)求λ\lambda的最大似然估计λn^\hat{\lambda_n}
(2)判断λ^n+1n\hat{\lambda}_n+\frac{1}{\sqrt{n}}是否为λ\lambda的相合估计.
(3)求n(λ^n−λ)\sqrt{n}(\hat{\lambda}_n - \lambda)的极限分布.
(4)求n(λ^n2−λ2)\sqrt{n}(\hat{\lambda}_n^2 - \lambda^2)的极限分布.

Solution:

(1) 似然函数

L(λ∣X1,...,Xn)=∏i=1nλXiXi!e−λ=e−nλλ∑i=1nXiΠi=1nXi,L(\lambda\vert X_1,...,X_n) =\prod_{i=1}^n\frac{\lambda^{X_i}}{X_i!}e^{-\lambda} =e^{-n\lambda}\frac{\lambda^{\sum_{i=1}^nX_i}}{\Pi_{i=1}^nX_i},

令∂lnL∂λ=0\frac{\partial lnL}{\partial \lambda} = 0, 得

λ^n=1n∑i=1nXi=:Xˉ.\hat{\lambda}_n= \frac{1}{n}\sum_{i=1}^nX_i=:\bar{X} .

(2) 由Kolmogorov强大数律, Xˉ→EX1=λ\bar{X}\rightarrow \mathbb{E}X_1 = \lambda, a.s., 故 λ^n→λ\hat{\lambda}_n \rightarrow \lambda, a.s… 即 λ^n\hat{\lambda}_n是强相合估计.

(3) 由Lindeberg-Levy中心极限定理, ∑i=1nXi−nλnλ→DN(0,1)\frac{\sum_{i=1}^nX_i-n\lambda}{\sqrt{n\lambda}}\rightarrow_D \mathcal{N}(0,1), 即:

n(λ^n−λ)→DN(0,λ).\sqrt{n}(\hat{\lambda}_n - \lambda)\rightarrow_D \mathcal{N}(0,\lambda).

(4) 利用 Delta 方法, 令 g(x)=x2g(x) = x^2, 则有 g′(x)=2xg'(x) = 2x, 故

n(λ^n2−λ2)→D2λN(0,λ)=N(0,4λ3).\sqrt{n} \left( \hat{\lambda}_n^2 - \lambda^2 \right) \xrightarrow{D} 2\lambda \mathcal{N}(0,\lambda) = \mathcal{N}(0,4\lambda^3).


六、(30分) 有回归模型

yi=βxi+ei,1≤i≤ny_i = \beta x_i + e_i,\quad 1\leq i \leq n

当 1≤i≤n11 \leq i \leq n_1 时, ei∼N(0,σ12)e_i\sim \mathcal{N}(0,\sigma_1^2), 当 n1+1≤i≤nn_1+1\leq i \leq n 时, ei∼N(0,σ22)e_i\sim \mathcal{N}(0,\sigma_2^2).
(1) 求 β\beta 的最小二乘估计及其分布.
(2) 求 β\beta 的最大似然估计及其分布, 比较其方差与最小二乘估计的方差.
(3) 若 eie_i 的分布未知, 但已知其期望方差不变, 求 β\beta 的无偏估计, 使其方差不大于 (1) 中估计量的方差.

Solution: (1) 残差平方和

Q(β)=∑i=1n(yi−βxi)2,Q(\beta)= \sum_{i=1}^n(y_i-\beta x_i)^2,

求导得 ∂Q∂β=∑i=1n(−2)xi(yi−βxi)=0,\frac{\partial Q}{\partial \beta} = \sum_{i=1}^n (-2)x_i(y_i-\beta x_i) = 0,得β\beta的最小二乘估计

β^1=∑i=1nxiyi∑i=1nxi2.\hat{\beta}_1 = \frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2}.

(2) 似然函数

L(β)=(12πσ12)n1exp⁡{−12σ12∑i=1n1(yi−βxi)2}(12πσ22)n−n1exp⁡{∑i=n1+1n(yi−βxi)2},L\left( \beta \right) =\left( \frac{1}{\sqrt{2\pi \sigma _{1}^{2}}} \right) ^{n_1}\exp \left\{ -\frac{1}{2\sigma _{1}^{2}}\sum_{i=1}^{n_1}{(}y_i-\beta x_i)^2 \right\} \left( \frac{1}{\sqrt{2\pi \sigma _{2}^{2}}} \right) ^{n-n_1}\exp \left\{ \sum_{i=n_1+1}^n{(}y_i-\beta x_i)^2 \right\} ,

令∂ln⁡L∂β=0\frac{\partial \ln L}{\partial \beta} = 0, 得

β^2=σ22∑i=1n1xiyi+σ12∑i=n1+1nxiyiσ22∑i=1n1xi2+σ12∑i=n1+1nxi2.\hat{\beta}_2=\frac{\sigma _{2}^{2}\sum_{i=1}^{n_1}{x_i}y_i+\sigma _{1}^{2}\sum_{i=n_1+1}^n{x_i}y_i}{\sigma _{2}^{2}\sum_{i=1}^{n_1}{x_{i}^{2}}+\sigma _{1}^{2}\sum_{i=n_1+1}^n{x_{i}^{2}}}.

注意到yi∼N(xiβ,σ12),1≤i≤n1;yi∼N(xiβ,σ22),n1+1≤i≤n.y_i\sim \mathcal{N}(x_i\beta, \sigma_1^2),1\leq i \leq n_1;y_i\sim \mathcal{N}(x_i\beta, \sigma_2^2),n_1+1\leq i \leq n. 由于诸yiy_i彼此独立, 由正态分布的性质可知：

β^2∼N(β,σ12σ22σ22∑i=1n1xi2+σ12∑i=n1+1nxi2).\hat{\beta}_2\sim \mathcal{N} \left( \beta ,\frac{\sigma _{1}^{2}\sigma _{2}^{2}}{\sigma _{2}^{2}\sum_{i=1}^{n_1}{x_{i}^{2}}+\sigma _{1}^{2}\sum_{i=n_1+1}^n{x_{i}^{2}}} \right) .

而

Var(β^1)=1(∑i=1nxi2)2∑i=1nxi2Var(yi)=σ12∑i=1n1xi2+σ22∑i=n1+1nxi2(∑i=1nxi2)2.Var(\hat{\beta}_1)=\frac{1}{\left( \sum_{i=1}^n{x_{i}^{2}} \right) ^2}\sum_{i=1}^n{x_{i}^{2}}Var(y_i)=\frac{\sigma _{1}^{2}\sum_{i=1}^{n_1}{x_{i}^{2}}+\sigma _{2}^{2}\sum_{i=n_1+1}^n{x_{i}^{2}}}{\left( \sum_{i=1}^n{x_{i}^{2}} \right) ^2}.

记A:=∑i=1n1xi2,B:=∑i=n1+1nxi2.A:=\sum_{i=1}^{n_1}x_i^2,B:=\sum_{i=n_1+1}^{n}x_i^2. 则:

Var(β^2)Var(β^1)=(A+B)2(Aσ12+Bσ22)(σ12A+σ22B).\frac{Var(\hat{\beta}_2)}{Var(\hat{\beta}_1)} = \frac{(A+B)^2} {(\frac{A}{\sigma_1^2}+\frac{B}{\sigma_2^2})(\sigma_1^2A+\sigma_2^2B)}.

由柯西不等式:

(Aσ12+Bσ22)(σ12A+σ22B)≥(A+B)2,\left( \frac{A}{\sigma _{1}^{2}}+\frac{B}{\sigma _{2}^{2}} \right) \left( \sigma _{1}^{2}A+\sigma _{2}^{2}B \right) \ge (A+B)^2,

当且仅当σ1=σ2\sigma_1=\sigma_2时,等号成立. 即 Var(β^2)≤Var(β^1).Var(\hat{\beta}_2)\leq Var(\hat{\beta}_1).

(3) 仍然可取第二问的估计量, 少了分布条件不影响求期望和方差.