复旦大学861-861概率论与数理统计-2020年

一 (20 分) 随机变量 X,YX, Y 相互独立, 均服从参数为 pp 的几何分布, 记 Z=Z= max⁡{X,Y}\max \{X, Y\}, 试求

(1) 随机向量 (Z,X)(Z, X) 的联合分布;

(2) XX 关于 ZZ 的条件分布.

Solution: (1) 因为 X,YX, Y 服从参数为 pp 的几何分布, 有

P(X=k)=P(Y=k)=p(1−p)k−1,k=1,2,3,⋯ ,P(X=k)=P(Y=k)=p(1-p)^{k-1}, k=1,2,3, \cdots,

考虑 (Z,X)(Z, X) 的联合分布, 当 i>ji>j 时, 有

P(Z=i,X=j)=P(Y=i,X=j)=p2(1−p)i+j−2,P(Z=i, X=j)=P(Y=i, X=j)=p^{2}(1-p)^{i+j-2},

当 i=ji=j 时, 有

P(Z=i,X=j)=∑k=1jP(Y=k,X=j)=p(1−p)j−1∑k=1jp(1−p)k−1=p(1−p)j−1[1−(1−p)j]\begin{aligned} P(Z=i, X=j) &=\sum_{k=1}^{j} P(Y=k, X=j) \\ &=p(1-p)^{j-1} \sum_{k=1}^{j} p(1-p)^{k-1} \\ &=p(1-p)^{j-1}\left[1-(1-p)^{j}\right] \end{aligned}

当 i<ji<j 时, 显然 P(Z=i,X=j)=0P(Z=i, X=j)=0.
综上所述, 有 (Z,X)(Z, X) 的联合分布是

P(Z=i,X=j)={p2(1−p)i+j−2,i>jp(1−p)j−1[1−(1−p)j],i=j0,i<jP(Z=i, X=j)= \begin{cases}p^{2}(1-p)^{i+j-2}, & i>j \\ p(1-p)^{j-1}\left[1-(1-p)^{j}\right], & i=j \\ 0, & i<j\end{cases}

(2)先求 ZZ 的边际分布, 有

P(Z=i)=∑j=1∞P(Z=i,X=j)=∑j=1i−1P(Z=i,X=j)+P(Z=i,X=i)=p(1−p)i−1[1−(1−p)i−1]+p(1−p)i−1[1−(1−p)i],\begin{aligned} P(Z=i) &=\sum_{j=1}^{\infty} P(Z=i, X=j) \\ &=\sum_{j=1}^{i-1} P(Z=i, X=j)+P(Z=i, X=i) \\ &=p(1-p)^{i-1}\left[1-(1-p)^{i-1}\right]+p(1-p)^{i-1}\left[1-(1-p)^{i}\right], \end{aligned}

因此, XX 关于 ZZ 的条件分布是

P(X=j∣Z=i)={p(1−p)j−1[1−(1−p)i−1]+[1−(1−p)i],i>j,(1−p)[1−(1−p)i][1−(1−p)i−1]+[1−(1−p)i],i=j,0,i<j.P(X=j \mid Z=i)= \begin{cases}\frac{p(1-p)^{j-1}}{\left[1-(1-p)^{i-1}\right]+\left[1-(1-p)^{i}\right]}, & i>j, \\ \frac{(1-p)\left[1-(1-p)^{i}\right]}{\left[1-(1-p)^{i-1}\right]+\left[1-(1-p)^{i}\right]}, & i=j, \\ 0, & i<j .\end{cases}

二 (25 分) 随机变量 X,YX, Y 相互独立, 均服从标准正态分布, 试求

(1) E∣X−Y∣E|X-Y| 以及 D∣X−Y∣D|X-Y|;

(2) E(max⁡{X,Y})E(\max \{X, Y\}) 与 E(min⁡{X,Y})E(\min \{X, Y\}).

Solution: (1) X,YX, Y 相互独立且服从标准正态分布, 令 T=X−YT=X-Y, 则 T∼N(0,2)T \sim N(0,2), 故

E(∣T∣)=∫−∞+∞∣t∣f(t)dt=2∫0+∞t2πe−t24dt=1π∫0+∞te−t24dt=2π.\begin{aligned} E(|T|) &=\int_{-\infty}^{+\infty}|t| f(t) d t=2 \int_{0}^{+\infty} \frac{t}{2 \sqrt{\pi}} e^{-\frac{t^{2}}{4}} d t \\ &=\frac{1}{\sqrt{\pi}} \int_{0}^{+\infty} t e^{\frac{-t^{2}}{4}} d t=\frac{2}{\sqrt{\pi}} . \end{aligned}

而 E(∣T∣2)=E(T2)=D(T)−E(T)2=2E\left(|T|^{2}\right)=E\left(T^{2}\right)=D(T)-E(T)^{2}=2, 因此

D(∣T∣)=E(∣T∣2)−E(∣T∣)2=2−4π.D(|T|)=E\left(|T|^{2}\right)-E(|T|)^{2}=2-\frac{4}{\pi} .

(2)考虑到恒等式 max⁡{X,Y}=X+Y+∣X−Y∣2,min⁡{X,Y}=X+Y−∣X−Y∣2\max \{X, Y\}=\frac{X+Y+|X-Y|}{2}, \min \{X, Y\}=\frac{X+Y-|X-Y|}{2}
因此有

E(max⁡{X,Y})=E(X+Y+∣X−Y∣2)=1πE(min⁡{X,Y})=E(X+Y−∣X−Y∣2)=−1π\begin{gathered} E(\max \{X, Y\})=E\left(\frac{X+Y+|X-Y|}{2}\right)=\frac{1}{\sqrt{\pi}} \\ E(\min \{X, Y\})=E\left(\frac{X+Y-|X-Y|}{2}\right)=-\frac{1}{\sqrt{\pi}} \end{gathered}

三、 (25 分) {Xi}\left\{X_{i}\right\} 是独立同分布, 均服从参数为 1 的泊松分布, 记 Sn=∑i=1nXiS_{n}=\sum_{i=1}^{n} X_{i}, 解决如下问题

(1) 试求 SnS_{n} 的分布.

(2) 试证明 1n(∑i=1nXi−n)\frac{1}{\sqrt{n}}\left(\sum_{i=1}^{n} X_{i}-n\right) 渐进服从标准正态分布.

Solution: (1)由泊松分布的可加性, 可知 SnS_{n} 服从参数为 nn 的泊松分布, 故

P(Sn=k)=nkk!e−n,k=0,1,2,⋯ .P\left(S_{n}=k\right)=\frac{n^{k}}{k !} e^{-n}, \quad k=0,1,2, \cdots .

(2)因为 E(Xi)=D(Xi)=1E\left(X_{i}\right)=D\left(X_{i}\right)=1 存在, 且 X1,X2,⋯ ,XnX_{1}, X_{2}, \cdots, X_{n} 独立且服从参数为 1 的泊松分布, 由中 心极限定律知 1n(∑i=1nXi−n)d→N(0,1)\frac{1}{\sqrt{n}}\left(\sum_{i=1}^{n} X_{i}-n\right) \stackrel{ }{ }{ }^{d} \rightarrow N(0,1).

注: 也可参照 2018 三 (1), 用特征函数证明.

四、(30 分) 设 {Xi}\left\{X_{i}\right\} 是来自泊松分布 Poisson⁡(θ)\operatorname{Poisson}(\theta) 的简单随机样本, 记 η=\eta= P(X1≤1)P\left(X_{1} \leq 1\right) 以及 η^n=1n∑i=1nI{Xi≤1}.\hat{\eta}_{n}=\frac{1}{n} \sum_{i=1}^{n} \mathbf{I}_{\left\{X_{i} \leq 1\right\}} .

(1) 求 θ,η\theta, \eta 的极大似然估计 θ^L,η^L\hat{\theta}_{L}, \hat{\eta}_{L}, 并判断它们是否是 UMVUE, 说明理由;

(2) θ^L,η^L\hat{\theta}_{L}, \hat{\eta}_{L} 是否具有相合性, 说明理由;

(3) η^n\hat{\eta}_n 是否为 UMVUE? 定义 σ2=nVar(η^n)\sigma^2 = nVar(\hat{\eta}_n), 求 σ\sigma 的矩估计.

Solution: (1)样本对应的似然函数是 L(θ)=θ∑i=1nxix1!x2!⋯xn!e−nθL(\theta)=\frac{\theta^{\sum_{i=1}^{n} x_{i}}}{x_{1} ! x_{2} ! \cdots x_{n} !} e^{-n \theta}, 取对数得

ln⁡L(θ)=∑i=1nxiln⁡θ−ln⁡(x1!x2!⋯xn!)−nθ,\ln L(\theta)=\sum_{i=1}^{n} x_{i} \ln \theta-\ln \left(x_{1} ! x_{2} ! \cdots x_{n} !\right)-n \theta,

求导得 ∂ln⁡L(θ)∂θ=∑i=1nxiθ−n\frac{\partial \ln L(\theta)}{\partial \theta}=\frac{\sum_{i=1}^{n} x_{i}}{\theta}-n, 令其为 0 , 解得 θ^L=∑i=1nxin=xˉ\hat{\theta}_{L}=\frac{\sum_{i=1}^{n} x_{i}}{n}=\bar{x}.
而 η=P(X1⩽1)=P(X1=0)+P(X1=1)=(1+θ)e−θ\eta=P\left(X_{1} \leqslant 1\right)=P\left(X_{1}=0\right)+P\left(X_{1}=1\right)=(1+\theta) e^{-\theta}, 由极大似然估计的不 变性知 η\eta 的极大似然估计是 η^L=(1+xˉ)e−xˉ\hat{\eta}_{L}=(1+\bar{x}) e^{-\bar{x}}. 因为泊松分布总体是指数族, 所以 ∑i=1nxi\sum_{i=1}^{n} x_{i} 完备, 而由于 E(θ^L)=E(Xˉ)=θE\left(\hat{\theta}_{L}\right)=E(\bar{X})=\theta, 故有 θ^L\hat{\theta}_{L} 是 UMVUE. 至于 η^L\hat{\eta}_{L}, 考虑到 T=∑k=1nXk∼P(nθ)T=\sum_{k=1}^{n} X_{k} \sim \mathcal{P}(n \theta), 有

E(η^L)=E(e−Tn)+1nE(Te−Tn)=∑k=0∞e−kn(nθ)kk!e−nθ+1n∑k=0∞ke−kn(nθ)kk!e−nθ=(1+θe−1n)e−nθ(1−e−1n),\begin{aligned} E\left(\hat{\eta}_{L}\right) &=E\left(e^{-\frac{T}{n}}\right)+\frac{1}{n} E\left(T e^{-\frac{T}{n}}\right) \\ &=\sum_{k=0}^{\infty} e^{-\frac{k}{n}} \frac{(n \theta)^{k}}{k !} e^{-n \theta}+\frac{1}{n} \sum_{k=0}^{\infty} k e^{-\frac{k}{n}} \frac{(n \theta)^{k}}{k !} e^{-n \theta} \\ &=\left(1+\theta e^{-\frac{1}{n}}\right) e^{-n \theta\left(1-e^{-\frac{1}{n}}\right)}, \end{aligned}

所以 η^L\hat{\eta}_{L} 不是无偏估计量, 不可能是 UMVUE.

(2)由大数定律知 θ^L→Pθ\hat{\theta}_{L} \stackrel{P}{\rightarrow} \theta, 故 θ^L\hat{\theta}_{L} 具有相合性, 而 η=g(θ)=(1+θ)e−θ\eta=g(\theta)=(1+\theta) e^{-\theta} 是 θ\theta 的连续函数, 故 η^L=g(θ^L)=(1+θ^L)e−θ^L\hat{\eta}_{L}=g\left(\hat{\theta}_{L}\right)=\left(1+\hat{\theta}_{L}\right) e^{-\hat{\theta}_{L}} 也是 η\eta 的相合估计量.
(3)由于 I{X1≤1},I{X2≤1},⋯ ,I{Xn≤1}I_{\left\{X_{1} \leq 1\right\}}, I_{\left\{X_{2} \leq 1\right\}}, \cdots, I_{\left\{X_{n} \leq 1\right\}} 是独立同服从两点分布的, 且 E[I{X1≤1}]=P(X1≤1)E\left[I_{\left\{X_{1} \leq 1\right\}}\right]=P\left(X_{1} \leq 1\right), 由大数定律知, η^n\hat{\eta}_{n} 是 η\eta 的相合估计量, 且很容易看出它是无偏估计量.
而对于泊松分布总体, T=∑i=1nXiT=\sum_{i=1}^{n} X_{i} 是充分完备统计量, 故 E(η^n∣T)E\left(\hat{\eta}_{n} \mid T\right) 才是 UMVUE, η^n\hat{\eta}_{n} 并不是 TT 的函数, 故不是 UMVUE.
可以求得

Var⁡(η^n)=1nVar⁡(I{X1≤1})=P(X1≤1)P(X1>1)n, \operatorname{Var}\left(\hat{\eta}_{n}\right)=\frac{1}{n} \operatorname{Var}\left(I_{\left\{X_{1} \leq 1\right\}}\right)=\frac{P\left(X_{1} \leq 1\right) P\left(X_{1}>1\right)}{n} \text {, }

故有 σ=P(X1≤1)P(X1>1)\sigma=\sqrt{P\left(X_{1} \leq 1\right) P\left(X_{1}>1\right)}, 由替换原理, 将样本中小于等于 1 和大于 1 的比例代 入, 得矩估计为

σ^=η^n(1−η^n)\hat{\sigma}=\sqrt{\hat{\eta}_{n}\left(1-\hat{\eta}_{n}\right)}

五、 (30 分) X1,X2,⋯ ,XnX_{1}, X_{2}, \cdots, X_{n} 是来自参数为 λ\lambda 的指数分布总体的随机样本, 总体的 密度函数为

f(x)={λe−λx,x>00,x≤0f(x)= \begin{cases}\lambda e^{-\lambda x}, & x>0 \\ 0, & x \leq 0\end{cases}

(1) 求 G=2λ∑i=1nXiG=2 \lambda \sum_{i=1}^{n} X_{i} 的分布;

(2) 基于枢轴量 GG 给出参数 λ\lambda 的 1−α1-\alpha 置信水平的置信区间;

(3) 写出上述置信区间的对偶检验问题的拒绝域与检验统计量, 这一拒绝域具 有哪些优良性?

(4) 用统计量 T=c∑i=1nXiT=c \sum_{i=1}^{n} X_{i} 对总体均值进行估计, 其中 cc 使其均方误差达到 最小, 试求出 cc.

Solution: (1) Xi∼Exp⁡(λ)∼Ga(1,λ)X_{i} \sim \operatorname{Exp}(\lambda) \sim G a(1, \lambda), 所以 ∑i=1nXi∼Ga(n,λ)\sum_{i=1}^{n} X_{i} \sim G a(n, \lambda), 进一步有

2λ∑i=1nXi∼Ga(n,12)=χ2(2n).2 \lambda \sum_{i=1}^{n} X_{i} \sim G a\left(n, \frac{1}{2}\right)=\chi^{2}(2 n) .

所以 GG 服从参数为 2n2 n 的卡方分布.
(2) 考虑到第(3)问, 我们直接先构造一个双侧 UMPU 拒绝域, 再去将其反转. 考虑

H0:λ=λ0vsH1:λ≠λ0,H_0:\lambda = \lambda_0 \quad \mathrm{vs} \quad H_1:\lambda \neq \lambda_0,

这是单参指数族, 其水平为 α\alpha 的 UMPU 检验由充分统计量 T=∑i=1nXiT = \sum_{i=1}^nX_i 给出, 是 T(X)=I{Y<C1}+I{Y>C2}T(X)=I_{\left\{Y<C_{1}\right\}}+I_{\left\{Y>C_{2}\right\}}, 即对应拒绝域

W={Y<C1}∪{Y>C2},W=\left\{Y<C_{1}\right\} \cup\left\{Y>C_{2}\right\},

其中 Y=∑k=1nXkY=\sum_{k=1}^{n} X_{k} 是给定的检验统计量, 且 C1,C2C_{1}, C_{2} 满足

{Eλ0[T(X)]=α,Eλ0[T(X)×Y]=αEλ0(Y),\left\{\begin{array}{l} E_{\lambda_{0}}[T(X)]=\alpha, \\ E_{\lambda_{0}}[T(X) \times Y]=\alpha E_{\lambda_{0}}(Y), \end{array}\right.

由于 T(X)T(X) 等价于 T(X)=I{2λ0Y<a}+I{2λ0Y>b}T(X)=I_{\left\{2 \lambda_{0} Y<a\right\}}+I_{\left\{2 \lambda_{0} Y>b\right\}}, 故上述两条件等价于

{Pλ0(a<2λ0Y<b)=1−α,Eλ0[I{a<2λ0Y<b}×2λ0Y]=(1−α)Eλ0(2λ0Y),\left\{\begin{array}{l} P_{\lambda_{0}}\left(a<2 \lambda_{0} Y<b\right)=1-\alpha, \\ E_{\lambda_{0}}\left[I_{\left\{a<2 \lambda_{0} Y<b\right\}} \times 2 \lambda_{0} Y\right]=(1-\alpha) E_{\lambda_{0}}\left(2 \lambda_{0} Y\right), \end{array}\right.

写成积分形式有 ∫abχ2n2(x)dx=1−α\int_{a}^{b} \chi_{2 n}^{2}(x) d x=1-\alpha 以及 ∫abxχ2n2(x)dx=2(1−α)n\int_{a}^{b} x \chi_{2 n}^{2}(x) d x=2(1-\alpha) n, 第二个式子 可以写为 ∫abχ2(n+1)2(x)dx=1−α\int_{a}^{b} \chi_{2(n+1)}^{2}(x) d x=1-\alpha, 这表明了 UMPU 检验由

W={2λ0∑k=1nXk<a}∪{2λ0∑k=1nXk>b}W=\left\{2 \lambda_{0} \sum_{k=1}^{n} X_{k}<a\right\} \cup\left\{2 \lambda_{0} \sum_{k=1}^{n} X_{k}>b\right\}

其中 a,ba, b 满足 ∫abχ2n2(x)dx=1−α\int_{a}^{b} \chi_{2 n}^{2}(x) d x=1-\alpha 及 ∫abχ2(n+1)2(x)dx=1−α\int_{a}^{b} \chi_{2(n+1)}^{2}(x) d x=1-\alpha. 对应的接受域是

Wˉ={a≤2λ0∑k=1nXk≤b},\bar{W}=\left\{ a\le 2\lambda _0\sum_{k=1}^n{X_k}\le b \right\} ,

反转后得到的置信区间是

λ∈[a2∑k=1nXi,b2∑k=1nXi],\lambda \in \left[ \frac{a}{2\sum_{k=1}^n{X_i}},\frac{b}{2\sum_{k=1}^n{X_i}} \right] ,

其中 a,ba,b 满足:

{∫abχ2n2(x)dx=1−α,∫abχ2(n+1)2(x)dx=1−α.\begin{cases} \int_a^b{\chi _{2n}^{2}\left( x \right) dx}=1-\alpha ,\\ \int_a^b{\chi _{2\left( n+1 \right)}^{2}\left( x \right) dx}=1-\alpha .\\ \end{cases}

(3) 由第(2)的置信区间可得该对偶检验问题的拒绝域:

W={2λ0∑k=1nXk<a}∪{2λ0∑k=1nXk>b}W=\left\{2 \lambda_{0} \sum_{k=1}^{n} X_{k}<a\right\} \cup\left\{2 \lambda_{0} \sum_{k=1}^{n} X_{k}>b\right\}

其中 a,ba, b 满足 ∫abχ2n2(x)dx=1−α\int_{a}^{b} \chi_{2 n}^{2}(x) d x=1-\alpha 及 ∫abχ2(n+1)2(x)dx=1−α\int_{a}^{b} \chi_{2(n+1)}^{2}(x) d x=1-\alpha.

(4) 由于 E(c∑i=1nXi)=cnλ,Var⁡(c∑i=1nXi)=c2nλ2E\left(c \sum_{i=1}^{n} X_{i}\right)=\frac{c n}{\lambda}, \operatorname{Var}\left(c \sum_{i=1}^{n} X_{i}\right)=\frac{c^{2} n}{\lambda^{2}}, 故有

mse⁡(c∑i=1nXi)=(cnλ−1λ)2+c2nλ2=(n2+n)c2−2nc+1λ2, \operatorname{mse}\left(c \sum_{i=1}^{n} X_{i}\right)=\left(\frac{c n}{\lambda}-\frac{1}{\lambda}\right)^{2}+\frac{c^{2} n}{\lambda^{2}}=\frac{\left(n^{2}+n\right) c^{2}-2 n c+1}{\lambda^{2}} \text {, }

可以看出, 当 c=1n+1c=\frac{1}{n+1} 时, 上式最小.

六、(20 分) 设有收集到的数据集 {(xi1,xi2,⋯ ,xip,yi)}i=1,2,⋯ ,n\left\{\left(x_{i 1}, x_{i 2}, \cdots, x_{i p}, y_{i}\right)\right\}_{i=1,2, \cdots, n}, 满足线性回归模 型

Y=Xβ+εY=X \beta+\varepsilon

其中 Y=(y1,y2,⋯ ,yn)T,X=[x1T,x2T,⋯ ,xnT]T,xi=(xi1,xi2,⋯ ,xip)T\boldsymbol{Y}=\left(y_{1}, y_{2}, \cdots, y_{n}\right)^{T}, X=\left[x_{1}^{T}, \boldsymbol{x}_{2}^{T}, \cdots, \boldsymbol{x}_{n}^{T}\right]^{T}, \boldsymbol{x}_{i}=\left(x_{i 1}, x_{i 2}, \cdots, x_{i p}\right)^{T}, β=(β1,β2,⋯ ,βp)T,ε=(ε1,ε2,⋯ ,εn)T\boldsymbol{\beta}=\left(\beta_{1}, \beta_{2}, \cdots, \beta_{p}\right)^{T}, \varepsilon=\left(\varepsilon_{1}, \varepsilon_{2}, \cdots, \varepsilon_{n}\right)^{T}, 且有 εi\varepsilon_{i} i.i.d ∼N(0,σ2)\sim N\left(0, \sigma^{2}\right). 记 β^\hat{\boldsymbol{\beta}} 是 β\boldsymbol{\beta} 的最小二乘估计, 假设矩阵 XX 是满秩的, 试证明

(1) Cov⁡(β^)=σ2(XTX)−1\operatorname{Cov}(\hat{\boldsymbol{\beta}})=\sigma^{2}\left(X^{T} X\right)^{-1};

(2) β^\hat{\beta} 是 β\boldsymbol{\beta} 的最佳线性无偏估计.

[注]: 第(2)问意味着: 对任意 p×1p\times 1 向量 cc, 有 cTβ^c^T \hat{\beta} 是 cTβc^T \boldsymbol{\beta} 的最佳线性无偏估计(BLUE).

Solution: (1)记残差平方和为 Q(β)=∥Y−Xβ∥2Q(\boldsymbol{\beta})=\|\boldsymbol{Y}-X \boldsymbol{\beta}\|^{2}, 求导有 ∂Q∂β=−2XTY+2XTXβ\frac{\partial Q}{\partial \boldsymbol{\beta}}=-2 X^{T} \boldsymbol{Y}+2 X^{T} X \boldsymbol{\beta}, 令其为 0 , 解得最小二乘解为 β^=(XTX)−1XTY\hat{\boldsymbol{\beta}}=\left(X^{T} X\right)^{-1} X^{T} \boldsymbol{Y}, 由于 Y\boldsymbol{Y} 期望方差已知, β^\hat{\boldsymbol{\beta}} 是 Y\boldsymbol{Y} 的一个线性变换, 其期望为 E(β^)=(XTX)−1XTE(Y)=βE(\hat{\boldsymbol{\beta}})=\left(X^{T} X\right)^{-1} X^{T} E(\boldsymbol{Y})=\boldsymbol{\beta}, 协方差矩阵为

Cov⁡(β^)=(XTX)−1XTCov⁡(Y)((XTX)−1XT)T=σ2(XTX)−1XTX(XTX)−1=σ2(XTX)−1\begin{aligned} \operatorname{Cov}(\hat{\boldsymbol{\beta}}) &=\left(X^{T} X\right)^{-1} X^{T} \operatorname{Cov}(\boldsymbol{Y})\left(\left(X^{T} X\right)^{-1} X^{T}\right)^{T} \\ &=\sigma^{2}\left(X^{T} X\right)^{-1} X^{T} X\left(X^{T} X\right)^{-1} \\ &=\sigma^{2}\left(X^{T} X\right)^{-1} \end{aligned}

(2) 对任意 cc, 假设存在一个 dd, 使得线性估计 dTYd^TY 是 cTβc^T \boldsymbol{\beta} 的无偏估计, 这意味着 E(dTY)=dTE(Y)=cTβE(d^TY)= d^T E(Y) = c^T \boldsymbol{\beta} 对任意 β\boldsymbol{\beta} 成立. 即有

dTXβ=cTβ,d^T X \boldsymbol{\beta}= c^T \boldsymbol{\beta},

这要对任意 β\boldsymbol{\beta} 成立, 说明 dTX=cTd^T X = c^T, 也就是 XTd=cX^T d = c. 因此有

Cov(cTβ^,cTβ^−dTY)=Cov(cT(XTX)−1XTY,(cT(XTX)−1XT−dT)Y)=cT(XTX)−1XTCov(Y,Y)(cT(XTX)−1XT−dT)T=σ2cT(XTX)−1XT(X(XTX)−1c−d)=σ2[cT(XTX)−1c−cT(XTX)−1XTd]=σ2cT(XTX)−1(c−XTd)=0.\begin{aligned} Cov\left( c^T\hat{\beta},c^T\hat{\beta}-d^TY \right) &=Cov\left( c^T\left( X^TX \right) ^{-1}X^TY,\left( c^T\left( X^TX \right) ^{-1}X^T-d^T \right) Y \right)\\ &=c^T\left( X^TX \right) ^{-1}X^TCov\left( Y,Y \right) \left( c^T\left( X^TX \right) ^{-1}X^T-d^T \right) ^T\\ &=\sigma ^2c^T\left( X^TX \right) ^{-1}X^T\left( X\left( X^TX \right) ^{-1}c-d \right)\\ &=\sigma ^2\left[ c^T\left( X^TX \right) ^{-1}c-c^T\left( X^TX \right) ^{-1}X^Td \right]\\ &=\sigma ^2c^T\left( X^TX \right) ^{-1}\left( c-X^Td \right) =0.\\ \end{aligned}

进而有

Var(dTY)=Var((dTY−cTβ^)+cTβ^)=Var(dTY−cTβ^)+2Cov(dTY−cTβ^,cTβ^)+Var(cTβ^)=Var(dTY−cTβ^)+Var(cTβ^)≥Var(cTβ^).\begin{aligned} Var\left( d^TY \right) &=Var\left( \left( d^TY-c^T\hat{\beta} \right) +c^T\hat{\beta} \right)\\ &=Var\left( d^TY-c^T\hat{\beta} \right) +2Cov\left( d^TY-c^T\hat{\beta},c^T\hat{\beta} \right) +Var\left( c^T\hat{\beta} \right)\\ &=Var\left( d^TY-c^T\hat{\beta} \right) +Var\left( c^T\hat{\beta} \right) \ge Var\left( c^T\hat{\beta} \right).\\ \end{aligned}

[再注]: 这题都没有让求MLE, 所以其实完全可以把正态假设去掉.