清华大学-432统计学-2017年

一、(20分) 证明函数 f(x,y)=Ae−(ax2+2bxy+cy2)f(x, y)=A e^{-\left(a x^{2}+2 b x y+c y^{2}\right)} 是密度函数的充要条件是:

a>0,c>0,b2<ac 且 A=ac−b2π.a>0, c>0, b^{2}<a c \text { 且 } A=\frac{\sqrt{a c-b^{2}}}{\pi}.

Solution:
(必要性) 由于 f(x,y)f(x, y) 是密度函数, 因此 ∫−∞+∞∫−∞+∞f(x,y)dxdy=1\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) d x d y=1, 而 f(x,y)=Aexp⁡{−[a(x2+2baxy)+cy2]}=Aexp⁡{−[a(x+bay)2+(c−b2a)y2]}f(x, y)=A \exp \left\{-\left[a\left(x^{2}+\frac{2 b}{a} x y\right)+c y^{2}\right]\right\}=A \exp \left\{-\left[a\left(x+\frac{b}{a} y\right)^{2}+\left(c-\frac{b^{2}}{a}\right) y^{2}\right]\right\},
要想积分收敛, 看出 a>0,b2−ac<0a>0, b^{2}-a c<0, 同理若对 yy 配方由对称性也有 c>0c>0. 在 此情形下, 有

∫−∞+∞∫−∞+∞f(x,y)dxdy=A∫−∞+∞∫−∞+∞e−a(x+bay)2−(c−b2a)y2dxdy=A∫−∞+∞∫−∞+∞e−au2−(c−b2a)y2dudy=A⋅πac−b2,\begin{aligned} \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) d x d y &=A \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} e^{-a\left(x+\frac{b}{a} y\right)^{2}-\left(c-\frac{b^{2}}{a}\right) y^{2}} d x d y \\ &=A \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} e^{-a u^{2}-\left(c-\frac{b^{2}}{a}\right) y^{2}} d u d y \\ &=A \cdot \frac{\pi}{\sqrt{a c-b^{2}}}, \end{aligned}

由此得 A=ac−b2πA=\frac{\sqrt{a c-b^{2}}}{\pi}.

(充分性) 此时显然 f(x,y)f(x, y) 非负, 且根据上述计算, 有积分

∫−∞+∞∫−∞+∞f(x,y)dxdy=1,\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) d x d y=1,

故正则性也成立, 即 f(x,y)f(x, y) 是密度函数.

二、(40分) 已知简单随机样本 x1,x2,⋯ ,xnx_{1}, x_{2}, \cdots, x_{n} i.i.d.∼U(0,θ)\sim U(0, \theta) .

(1)(10分) 证明 x(n)x_{(n)} 是充分完备统计量;

(2)(10分) 证明存在随机变量 XX 使得 n(θ−x(n))→dX,n\left(\theta-x_{(n)}\right) \stackrel{d}{\rightarrow} X, 并求 XX 的分布;

(3)(10分) 证明 x(n)x_{(n)} 是 θ\theta 的最大似然估计;

(4)(10分) x(n)x_{(n)} 是否为 θ\theta 的无偏估计? 是否为 θ\theta 的弱相合估计? 并说明理由.

Solution:

f(X∣θ)=1θnI{x(1)⩾0}I{x(n)⩽θ}f(\mathbf{X} \mid \theta)=\frac{1}{\theta^{n}} I_{\left\{x_{(1) \geqslant 0}\right\}} I_{\left\{x_{(n)} \leqslant \theta\right\}}, 根据因子分解定理, x(n)x_{(n)} 是充分统计量. 下证 x(n)x_{(n)} 的完备性. 由均匀分布次序统计量的分布, 我们知道 T=x(n)θ∼Be(n,1)T=\frac{x_{(n)}}{\theta} \sim B e(n, 1). 设 有一Borel 可测函数 u(⋅)u(\cdot), 满足 E[u(x(n))]=0(∀θ>0)E\left[u\left(x_{(n)}\right)\right]=0(\forall \theta>0), 也就是 E[u(θT)]=0(∀θ>0)E[u(\theta T)]=0(\forall \theta>0) 即 ∫01u(θt)ntn−1dt=(x=θt)∫0θu(x)n(xθ)n−1d(xθ)=nθn∫0θu(x)xn−1dx=0\int_{0}^{1} u(\theta t) n t^{n-1} d t \stackrel{(x=\theta t)}{=} \int_{0}^{\theta} u(x) n\left(\frac{x}{\theta}\right)^{n-1} d\left(\frac{x}{\theta}\right)=\frac{n}{\theta^{n}} \int_{0}^{\theta} u(x) x^{n-1} d x=0, 因此 ∫0θu(x)xn−1dx=0\int_{0}^{\theta} u(x) x^{n-1} d x=0 对 ∀θ>0\forall \theta>0 成立,
等式左右对 θ\theta 求导, 得 u(θ)θn−1=0(∀θ>0)u(\theta) \theta^{n-1}=0(\forall \theta>0), 故 u(θ)≡0(∀θ>0)u(\theta) \equiv 0(\forall \theta>0), 而 x(n)=θT∈(0,θ)x_{(n)}=\theta T \in(0, \theta), 故 P{u(x(n))=0}=1P\left\{u\left(x_{(n)}\right)=0\right\}=1. 因此 x(n)x_{(n)} 是充分完备统计量.

(2) 记 Yn=n(θ−x(n))=n(θ−θT)=nθ(1−T)Y_{n}=n\left(\theta-x_{(n)}\right)=n(\theta-\theta T)=n \theta(1-T). 而 T∼Be⁡(n,1)T \sim \operatorname{Be}(n, 1), 其密度函数是:

fT(t)=ntn−1I{0<t<1},f_{T}(t)=n t^{n-1} I_{\{0<t<1\}},

现求 YnY_{n} 的分布, 利用微分法

P{Yn=y}=P{nθ(1−T)=y}=P{T=1−ynθ},( 其中 1−ynθ∈(0,1))=fT(1−ynθ)∣d(1−ynθ)∣,(0<y<nθ)=n(1−ynθ)n−11nθdy,(0<y<nθ)\begin{aligned} P\left\{Y_{n}=y\right\} &=P\{n \theta(1-T)=y\}=P\left\{T=1-\frac{y}{n \theta}\right\},\left(\text { 其中 } 1-\frac{y}{n \theta} \in(0,1)\right) \\ &=f_{T}\left(1-\frac{y}{n \theta}\right)\left|d\left(1-\frac{y}{n \theta}\right)\right|,(0<y<n \theta) \\ &=n\left(1-\frac{y}{n \theta}\right)^{n-1} \frac{1}{n \theta} d y,(0<y<n \theta) \end{aligned}

因此 fYn(y)={1θ(1−ynθ)n−1,0<y<nθ0, others f_{Y_{n}}(y)= \begin{cases}\frac{1}{\theta}\left(1-\frac{y}{n \theta}\right)^{n-1}, & 0<y<n \theta \\ 0, & \text { others }\end{cases}
所以 YnY_{n} 的分布函数是 FYn(y)={0,y<01−(1−ynθ)n,0⩽y<nθ,1,y⩾nθF_{Y_{n}}(y)= \begin{cases}0, & y<0 \\ 1-\left(1-\frac{y}{n \theta}\right)^{n}, & 0 \leqslant y<n \theta, \\ 1, & y \geqslant n \theta\end{cases}
而 lim⁡n→∞FYn(y)={0,y<01−e−yθ,y⩾0\lim _{n \rightarrow \infty} F_{Y_{n}}(y)=\left\{\begin{array}{ll}0, & y<0 \\ 1-e^{-\frac{y}{\theta}}, & y \geqslant 0\end{array}\right., 这是参数为 1θ\frac{1}{\theta} 的指数分布的分布函数.
也就是说 Yn→dXY_{n} \stackrel{d}{\rightarrow} X, 其中 X∼Exp⁡(1θ)X \sim \operatorname{Exp}\left(\frac{1}{\theta}\right).

(3) 总体的密度函数是 f(x∣θ)=1θI[0,θ]f(x \mid \theta)=\frac{1}{\theta} I_{[0, \theta]}, 所以似然函数 L(X∣θ)=1θnI{x(n⩾0}}I{x(n)⩽θ}L(\mathbf{X} \mid \theta)=\frac{1}{\theta^{n}} I_{\left\{x_{(n \geqslant 0\}}\right\}} I_{\left\{x_{(n)} \leqslant \theta\right\}}, 可以看出它是关于 θ\theta 的单调减函数, 同时从示性函数中看出 θ⩾x(n)\theta \geqslant x_{(n)}, 故当 θ=Un\theta=U_{n} 时, 似然函数取到最大值. 因此 θ^MLE=x(n)\hat{\theta}_{M L E}=x_{(n)}.

(4) Ex(n)=E[θT]=θET=n−1nθE x_{(n)}=E[\theta T]=\theta E T=\frac{n-1}{n} \theta, 因此 x(n)x_{(n)} 不是 θ\theta 的无偏估计.
根据 Beta 分布的数字特征, Var⁡(xn)=θ2Var⁡(Beta⁡(n,1))=n(n+1)2(n+2)θ2\operatorname{Var}\left(x_{n}\right)=\theta^{2} \operatorname{Var}(\operatorname{Beta}(n, 1))=\frac{n}{(n+1)^{2}(n+2)} \theta^{2}

P{∣x(n)−θ∣>ε}=P{∣x(n)−nn+1θ+nn+1θ−θ∣>ε}⩽P{∣Xn−nn+1θ∣>ε2}+P{∣nn+1θ−θ∣>ε2}\begin{aligned} P\left\{\left|x_{(n)}-\theta\right|>\varepsilon\right\} &=P\left\{\left|x_{(n)}-\frac{n}{n+1} \theta+\frac{n}{n+1} \theta-\theta\right|>\varepsilon\right\} \\ & \leqslant P\left\{\left|X_{n}-\frac{n}{n+1} \theta\right|>\frac{\varepsilon}{2}\right\}+P\left\{\left|\frac{n}{n+1} \theta-\theta\right|>\frac{\varepsilon}{2}\right\} \end{aligned}

根据切比雪夫不等式,

P{∣x(n)−nn+1θ∣>ε2}<4Var⁡(x(n))ε2=4θ2ε2n(n+1)2(n+2)⟶n→∞0.P\left\{\left|x_{(n)}-\frac{n}{n+1} \theta\right|>\frac{\varepsilon}{2}\right\}<\frac{4 \operatorname{Var}\left(x_{(n)}\right)}{\varepsilon^{2}}=\frac{4 \theta^{2}}{\varepsilon^{2}} \frac{n}{(n+1)^{2}(n+2)} \stackrel{n \rightarrow \infty}{\longrightarrow} 0 .

同时当 n⩾2θε−1n \geqslant \frac{2 \theta}{\varepsilon}-1 时, P{∣nn+1θ−θ∣>ε2}=0P\left\{\left|\frac{n}{n+1} \theta-\theta\right|>\frac{\varepsilon}{2}\right\}=0.
因此 P{∣x(n)−θ∣>ε}⟶n→∞0P\left\{\left|x_{(n)}-\theta\right|>\varepsilon\right\} \stackrel{n \rightarrow \infty}{\longrightarrow} 0, 即 x(n)x_{(n)} 是 θ\theta 的弱相合估计.

三、(40分) 已知简单随机样本 x1,x2,⋯ ,xnx_{1}, x_{2}, \cdots, x_{n} iid ∼b(1,p)0<p<1\sim b(1, p) 0<p<1 . 参数 pp 的先验分布为贝塔分 布 Be(α,β)B e(\alpha, \beta), 则

(1)(5分) 求 pp 的最大似然估计 p^L\hat{p}_{L};

(2)(10分) 求 pp 的贝叶斯估计 p^B\hat{p}_{B} ;

(3)(10分) 求 p^L\hat{p}_{L} 与 p^B\hat{p}_{B} 的均方误差 MSE⁡(p^L)\operatorname{MSE}\left(\widehat{p}_{L}\right) 与 MSE⁡(p^B)\operatorname{MSE}\left(\widehat{p}_{B}\right) ;

(4)(10分) 试确定 α\alpha 与 β\beta 的值使得 MSE(p^B)M S E\left(\widehat{p}_{B}\right) 与 pp 无关;

(5)(5分) 在(4)的基础上求出 MSE⁡(p^B)\operatorname{MSE}\left(\widehat{p}_{B}\right) 并比较 MSE⁡(p^L)\operatorname{MSE}\left(\widehat{p}_{L}\right) 与 MSE⁡(p^B)\operatorname{MSE}\left(\widehat{p}_{B}\right) 的大小.

Solution:
(1) 似然函数 L(X∣p)=pnxˉ(1−p)n−nxˉL(\mathbf{X} \mid p)=p^{n \bar{x}}(1-p)^{n-n \bar{x}}, 令 ∂ln⁡L∂p=nxˉp−n−nxˉ1−p=0\frac{\partial \ln L}{\partial p}=\frac{n \bar{x}}{p}-\frac{n-n \bar{x}}{1-p}=0, 可 以解得 p^L=xˉ\hat{p}_{L}=\bar{x}, 由于总体服从指数族分布, 因此无需求二阶导, 其对数似然函数 的驻点必定是极大似然估计.

(2) 参数 pp 的先验分布是 H(p)=Γ(α+β)Γ(α)Γ(β)pα−1(1−p)β−1I{0<p<1}H(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} p^{\alpha-1}(1-p)^{\beta-1} I_{\{0<p<1\}}. 则样本与参数的
联合分布是: f(X,p)=L(X)H(p)=Γ(α+β)Γ(α)Γ(β)pnxˉ+α−1(1−p)n−nxˉ+β−1I{0<p<1}f(\mathbf{X}, p)=L(\mathbf{X}) H(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} p^{n \bar{x}+\alpha-1}(1-p)^{n-n \bar{x}+\beta-1} I_{\{0<p<1\}}.
样本的边际分布是:
m(X)=∫01f(X,p)dp=∫01Γ(α+β)Γ(α)Γ(β)pnxˉ+α−1(1−p)n−nxˉ+β−1dp=Γ(α+β)Γ(α)Γ(β)B(nxˉ+α,n−nxˉ+β), (here B represents beta function) =Γ(α+β)Γ(α)Γ(β)Γ(nxˉ+α)Γ(n−nxˉ+β)Γ(n+α+β)\begin{aligned} m(\mathbf{X}) &=\int_{0}^{1} f(\mathbf{X}, p) d p=\int_{0}^{1} \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} p^{n \bar{x}+\alpha-1}(1-p)^{n-n \bar{x}+\beta-1} d p \\ &=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \mathbf{B}(n \bar{x}+\alpha, n-n \bar{x}+\beta), \text { (here } \mathbf{B} \text { represents beta function) } \\ &=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \frac{\Gamma(n \bar{x}+\alpha) \Gamma(n-n \bar{x}+\beta)}{\Gamma(n+\alpha+\beta)} \end{aligned}
故参数 pp 的后验分布是
H(p∣X)=f(X,p)m(X)=Γ(nxˉ+α)Γ(n−nxˉ+β)Γ(n+α+β)pnxˉ+α−1(1−p)n−nxˉ+β−1I{0<p<1}H(p \mid \mathbf{X})=\frac{f(\mathbf{X}, p)}{m(\mathbf{X})}=\frac{\Gamma(n \bar{x}+\alpha) \Gamma(n-n \bar{x}+\beta)}{\Gamma(n+\alpha+\beta)} p^{n \bar{x}+\alpha-1}(1-p)^{n-n \bar{x}+\beta-1} I_{\{0<p<1\}}
也就是说参数的后验分布是 Be(nxˉ+α,n−nxˉ+β)B e(n \bar{x}+\alpha, n-n \bar{x}+\beta), 其后验期望估计是:
p^B=E(p∣X)=nxˉ+αn+α+β\hat{p}_{B}=E(p \mid \mathbf{X})=\frac{n \bar{x}+\alpha}{n+\alpha+\beta}, 也就是 pp 的贝叶斯估计.

(3) E(p^L)=Exˉ=pE\left(\hat{p}_{L}\right)=E \bar{x}=p, 因此 p^L\hat{p}_{L} 是无偏估计, 它的均方误差即它的方差.

MSE⁡(p^L)=Var⁡(xˉ)=p(1−p)nMSE⁡(p^B)=Var⁡(p^B)+(Ep^B−p)2=(nn+α+β)2p(1−p)n+[np+α−(n+α+β)pn+α+β]2=np(1−p)(n+α+β)2+[α(1−p)−βp]2(n+α+β)2=np−np2+α2−2α(α+β)p+(α+β)2p2(n+α+β)2=[(α+β)2−n]p2+[n−2α(α+β)]p+α2(n+α+β)2\begin{aligned} \operatorname{MSE}\left(\hat{p}_{L}\right)=&\operatorname{Var}(\bar{x})=\frac{p(1-p)}{n} \\ \operatorname{MSE}\left(\hat{p}_{B}\right)=& \operatorname{Var}\left(\hat{p}_{B}\right)+\left(E \hat{p}_{B}-p\right)^{2} \\ =&\left(\frac{n}{n+\alpha+\beta}\right)^{2} \frac{p(1-p)}{n}+\left[\frac{n p+\alpha-(n+\alpha+\beta) p}{n+\alpha+\beta}\right]^{2} \\ =& \frac{n p(1-p)}{(n+\alpha+\beta)^{2}}+\frac{[\alpha(1-p)-\beta p]^{2}}{(n+\alpha+\beta)^{2}} \\ =& \frac{n p-n p^{2}+\alpha^{2}-2 \alpha(\alpha+\beta) p+(\alpha+\beta)^{2} p^{2}}{(n+\alpha+\beta)^{2}} \\ =& \frac{\left[(\alpha+\beta)^{2}-n\right] p^{2}+[n-2 \alpha(\alpha+\beta)] p+\alpha^{2}}{(n+\alpha+\beta)^{2}} \end{aligned}

(4) MSE⁡(p^B)=[(α+β)2−n]p2+[n−2α(α+β)]p+α2(n+α+β)2\operatorname{MSE}\left(\hat{p}_{B}\right)=\frac{\left[(\alpha+\beta)^{2}-n\right] p^{2}+[n-2 \alpha(\alpha+\beta)] p+\alpha^{2}}{(n+\alpha+\beta)^{2}} 是一个关于 pp 的二次多项式.
若要求它与 pp 无关, 则

{(α+β)2−n=0n−2α(α+β)=0, 解得 α=β=n2.\left\{\begin{array}{l} (\alpha+\beta)^{2}-n=0 \\ n-2 \alpha(\alpha+\beta)=0 \end{array} \text {, 解得 } \alpha=\beta=\frac{\sqrt{n}}{2} .\right.

(5) 当 α=β=n2\alpha=\beta=\frac{\sqrt{n}}{2} 时,

MSE⁡(p^B)=[(α+β)2−n]p2+[n−2α(α+β)]p+α2(n+α+β)2=14n(n+n)2=141n+2n+1\begin{aligned} \operatorname{MSE}\left(\hat{p}_{B}\right) &=\frac{\left[(\alpha+\beta)^{2}-n\right] p^{2}+[n-2 \alpha(\alpha+\beta)] p+\alpha^{2}}{(n+\alpha+\beta)^{2}} \\ &=\frac{1}{4} \frac{n}{(n+\sqrt{n})^{2}}=\frac{1}{4} \frac{1}{n+2 \sqrt{n}+1} \end{aligned}

而 MSE⁡(p^L)=Var⁡(xˉ)=p(1−p)n\operatorname{MSE}\left(\hat{p}_{L}\right)=\operatorname{Var}(\bar{x})=\frac{p(1-p)}{n}.
lim⁡n→∞MSE⁡(p^L)MSE⁡(p^B)=lim⁡n→∞p(1−p)n141n+2n+1=4p(1−p)⩽4⋅14=1\lim _{n \rightarrow \infty} \frac{\operatorname{MSE}\left(\hat{p}_{L}\right)}{\operatorname{MSE}\left(\hat{p}_{B}\right)}=\lim _{n \rightarrow \infty} \frac{\frac{p(1-p)}{n}}{\frac{1}{4} \frac{1}{n+2 \sqrt{n}+1}}=4 p(1-p) \leqslant 4 \cdot \frac{1}{4}=1 (此处等号当且仅当p=12p=\frac{1}{2} 时取到) 因此可以判断, 当 nn 较大时, MSE(p^L)M S E\left(\hat{p}_{L}\right) 要比 MSE(p^B)M S E\left(\hat{p}_{B}\right) 小.

四、(20分) 已知总体 X∼N(μ,σ2),X \sim N\left(\mu, \sigma^{2}\right), 其中参数 μ\mu 与 σ2\sigma^{2} 未知 ,x1,x2,⋯ ,xn, x_{1}, x_{2}, \cdots, x_{n} 是在其中抽取的样本, 试确定 aa 与 bb 的关系, 使得 σ2\sigma^{2} 的 1−α1-\alpha 置信区间 [nS2a,nS2b]\left[\frac{n S^{2}}{a}, \frac{n S^{2}}{b}\right] 最短, 其中

S2=1n−1∑i=1n(xi−xˉ)2,xˉ=1n∑i=1nxi.S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}(x_i-\bar{x})^{2}, \bar{x}=\frac{1}{n} \sum_{i=1}^{n} x_{i}.

Solution:
T=(n−1)S2σ2∼χ2(n−1)T=\frac{(n-1) S^{2}}{\sigma^{2}} \sim \chi^{2}(n-1) 为枢轴量. 如果 d−c=1−α,0⩽c<d⩽1d-c=1-\alpha, 0 \leqslant c<d \leqslant 1, 则 P{χc2(n−1)<T<χd2(n−1)}=1−αP\left\{\chi_{c}^{2}(n-1)<T<\chi_{d}^{2}(n-1)\right\}=1-\alpha. 则

P{χc2(n−1)<1σ2n−1nnS2<χd2(n−1)}=1−α,P\left\{\chi_{c}^{2}(n-1)<\frac{1}{\sigma^{2}} \frac{n-1}{n} n S^{2}<\chi_{d}^{2}(n-1)\right\}=1-\alpha,

可得 σ2\sigma^{2} 的 1−α1-\alpha 置信区间: [n−1nnS2χd2(n−1),n−1nnS2χc2(n−1)]\left[\frac{n-1}{n} \frac{n S^{2}}{\chi_{d}^{2}(n-1)}, \frac{n-1}{n} \frac{n S^{2}}{\chi_{c}^{2}(n-1)}\right]. 可知

a=nn−1χd2(n−1),b=nn−1χc2(n−1).a=\frac{n}{n-1} \chi_{d}^{2}(n-1), b=\frac{n}{n-1} \chi_{c}^{2}(n-1) .

根据题意, 也就是求 1b−1a\frac{1}{b}-\frac{1}{a} 在 ∫n−1nbn−1nafχ2(n−1)(x)dx=1−α\int_{\frac{n-1}{n} b}^{\frac{n-1}{n} a} f_{\chi^{2}(n-1)}(x) d x=1-\alpha 下的条件极小值, 其中 fχ2(n−1)(x)dxf_{\chi^{2}(n-1)}(x) d x 是 χ2(n−1)\chi^{2}(n-1) 的密度函数. 利用拉格朗日乘数法,令

L(a,b,λ)=1b−1a+λ(∫n−1nbn−1nafχ2(n−1)(x)dx−1+α), 令 {∂L∂a=1a2+λn−1nfχ2(n−1)(n−1na)=0∂L∂b=−1b2−λn−1nfχ2(n−1)(n−1nb)=0∂L∂λ=∫n−1nbn−1nafχ2(n−1)(x)dx−1+α=0\begin{gathered} L(a, b, \lambda)=\frac{1}{b}-\frac{1}{a}+\lambda\left(\int_{\frac{n-1}{n} b}^{\frac{n-1}{n} a} f_{\chi^{2}(n-1)}(x) d x-1+\alpha\right), \\ \text { 令 }\left\{\begin{array}{l} \frac{\partial L}{\partial a}=\frac{1}{a^{2}}+\lambda \frac{n-1}{n} f_{\chi^{2}(n-1)}\left(\frac{n-1}{n} a\right)=0 \\ \frac{\partial L}{\partial b}=-\frac{1}{b^{2}}-\lambda \frac{n-1}{n} f_{\chi^{2}(n-1)}\left(\frac{n-1}{n} b\right)=0 \\ \frac{\partial L}{\partial \lambda}=\int_{\frac{n-1}{n} b}^{\frac{n-1}{n} a} f_{\chi^{2}(n-1)}(x) d x-1+\alpha=0 \end{array}\right. \end{gathered}

对第一个式子进行变形, 有

 (1) ⟹1a2+λn−1n(12)n−12Γ(n−12)(n−1na)n−32e−12n−1na=01+λn−1na2(12)n−12Γ(n−12)(n−1na)n−32e−12n−1na=0λnn−1(n−1na)2(n+12)(n−12)22(12)2(12)n−12(n+12)(n−12)Γ(n−12)(n−1na)n−32e−12n−1na=−1(n2+n)λ(12)n+32Γ(n+32)(n−1na)n+12e−12n−1na=−1fχ2(n+3)(n−1na)=−1(n2+n)λ\begin{aligned} \text { (1) } \Longrightarrow \quad \frac{1}{a^{2}}+\lambda \frac{n-1}{n} \frac{\left(\frac{1}{2}\right)^{\frac{n-1}{2}}}{\Gamma\left(\frac{n-1}{2}\right)}\left(\frac{n-1}{n} a\right)^{\frac{n-3}{2}} e^{-\frac{1}{2} \frac{n-1}{n} a} &=0 \\ 1+\lambda \frac{n-1}{n} a^{2} \frac{\left(\frac{1}{2}\right)^{\frac{n-1}{2}}}{\Gamma\left(\frac{n-1}{2}\right)}\left(\frac{n-1}{n} a\right)^{\frac{n-3}{2}} e^{-\frac{1}{2} \frac{n-1}{n} a} &=0 \\ \lambda \frac{n}{n-1}\left(\frac{n-1}{n} a\right)^{2}\left(\frac{n+1}{2}\right)\left(\frac{n-1}{2}\right) \frac{2^{2}\left(\frac{1}{2}\right)^{2}\left(\frac{1}{2}\right)^{\frac{n-1}{2}}}{\left(\frac{n+1}{2}\right)\left(\frac{n-1}{2}\right) \Gamma\left(\frac{n-1}{2}\right)}\left(\frac{n-1}{n} a\right)^{\frac{n-3}{2}} e^{-\frac{1}{2} \frac{n-1}{n} a} &=-1 \\ \left(n^{2}+n\right) \lambda \frac{\left(\frac{1}{2}\right)^{\frac{n+3}{2}}}{\Gamma\left(\frac{n+3}{2}\right)}\left(\frac{n-1}{n} a\right)^{\frac{n+1}{2}} e^{-\frac{1}{2} \frac{n-1}{n} a} &=-1 \\ f_{\chi^{2}(n+3)}\left(\frac{n-1}{n} a\right) &=-\frac{1}{\left(n^{2}+n\right) \lambda} \end{aligned}

同理, (2) ⟹fχ2(n+3)(n−1nb)=−1(n2+n)λ\Longrightarrow f_{\chi^{2}(n+3)}\left(\frac{n-1}{n} b\right)=-\frac{1}{\left(n^{2}+n\right) \lambda}. 因此有 fχ2(n+3)(n−1na)=fχ2(n+3)(n−1nb)f_{\chi^{2}(n+3)}\left(\frac{n-1}{n} a\right)=f_{\chi^{2}(n+3)}\left(\frac{n-1}{n} b\right). 综上所述, aa 与 bb 需要满足下述关系:

{fχ2(n+3)(n−1na)=fχ2(n+3)(n−1nb)∫n−1nbn−1nafχ2(n−1)(x)dx=1−α\left\{\begin{array}{l} f_{\chi^{2}(n+3)}\left(\frac{n-1}{n} a\right)=f_{\chi^{2}(n+3)}\left(\frac{n-1}{n} b\right) \\ \int_{\frac{n-1}{n} b}^{\frac{n-1}{n} a} f_{\chi^{2}(n-1)}(x) d x=1-\alpha \end{array}\right.

五、(30分) 通过实验观察得出 nn 个样本点 (x1,y1),(x2,y2),⋯ ,(xn,yn)\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{n}, y_{n}\right). 假设 XX 与 YY 之间存在线 性关系, 并有统计模型 Yi=β0+β1Xi+εi;i=1,2,⋯n,Y_{i}=\beta_{0}+\beta_{1} X_{i}+\varepsilon_{i} ; i=1,2, \cdots n, 其中 ε1,ε2,⋯ ,εn\varepsilon_{1}, \varepsilon_{2}, \cdots, \varepsilon_{n} i.i.d.∼N(0,σ2)\sim N\left(0, \sigma^{2}\right). β0,β1,σ2\beta_{0}, \beta_{1},\sigma^{2} 为参数,XiX_{i} 为一般变量, i=1,2,⋯ni=1,2, \cdots n . 则 :

(1)(10分) 求 β0,β1,σ2\beta_{0}, \beta_{1}, \sigma^{2} 的最大似然估计 β^0,β^1,σ^2\widehat{\beta}_{0}, \widehat{\beta}_{1}, \widehat{\sigma}^{2};

(2)(10分) 上述 σ^2\hat{\sigma}^{2} 是否为 σ2\sigma^{2} 的无偏估计? 若是,请说明理由; 若不是,试构造 σ2\sigma^{2} 的无偏估计;

(3)(10分) 对线性回归方程的显著性作出假设 H0:β1=0H_{0}: \beta_{1}=0 \quad vs H1:β1≠0,H_{1}: \beta_{1} \neq 0, 给出你的检验标准.

Solution:
(1) 由题意可知, Yi∼N(β0+β1xi,σ2)Y_{i} \sim N\left(\beta_{0}+\beta_{1} x_{i}, \sigma^{2}\right), 似然函数

L(Y;β0,β1,σ2)=(2πσ2)−n2exp⁡{−12∑i=1n(yi−β0−β1xi)2σ2}.L\left(\mathbf{Y} ; \beta_{0}, \beta_{1}, \sigma^{2}\right)=\left(2 \pi \sigma^{2}\right)^{-\frac{n}{2}} \exp \left\{-\frac{1}{2} \frac{\sum_{i=1}^{n}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)^{2}}{\sigma^{2}}\right\} .

对数似然函数 ln⁡L=−n2ln⁡(2πσ2)−∑i=1n(yi−β0−β1xi)22σ2\ln L=-\frac{n}{2} \ln \left(2 \pi \sigma^{2}\right)-\frac{\sum_{i=1}^{n}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)^{2}}{2 \sigma^{2}}.
令 {∂ln⁡L∂β0=2∑i=1n(yi−β0−β1xi)2σ2=0∂ln⁡L∂β1=2∑i=1nxi(yi−β0−β1xi)2σ2=0∂ln⁡L∂σ2=−n2σ2+∑i=1n(yi−β0−β1xi)2=02σ4\left\{\begin{array}{l}\frac{\partial \ln L}{\partial \beta_{0}}=\frac{2 \sum_{i=1}^{n}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)}{2 \sigma^{2}}=0 \\ \frac{\partial \ln L}{\partial \beta_{1}}=\frac{2 \sum_{i=1}^{n} x_{i}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)}{2 \sigma^{2}}=0 \\ \frac{\partial \ln L}{\partial \sigma^{2}}=-\frac{n}{2 \sigma^{2}}+\frac{\sum_{i=1}^{n}\left(y_{i}-\beta_{0}-\beta_{1} x_{i}\right)^{2}=0}{2 \sigma^{4}}\end{array} \quad\right., 解得 {β^0=yˉ−xˉlxylxxβ^1=lxylxxσ^2=∑i=1n[yi−(yˉ−xˉlxylxx)−lxylxxxi]2n\left\{\begin{array}{c}\hat{\beta}_{0}=\bar{y}-\bar{x} \frac{l_{x y}}{l_{x x}} \\ \hat{\beta}_{1}=\frac{l_{x y}}{l_{x x}} \\ \hat{\sigma}^{2}=\frac{\sum_{i=1}^{n}\left[y_{i}-\left(\bar{y}-\bar{x} \frac{l_{x y}}{l_{x x}}\right)-\frac{l_{x y}}{l_{x x}} x_{i}\right]^{2}}{n}\end{array}\right.
其中 {lxx=∑i=1n(xi−xˉ)2=∑i=1nxi2−nxˉ2lyy=∑i=1n(yi−yˉ)2=∑i=1nyi2−nyˉ2lxy=∑i=1n(xi−xˉ)(yi−yˉ)=∑i=1nxiyi−nxˉyˉ\left\{\begin{array}{l}l_{x x}=\sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2}=\sum_{i=1}^{n} x_{i}^{2}-n \bar{x}^{2} \\ l_{y y}=\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}=\sum_{i=1}^{n} y_{i}^{2}-n \bar{y}^{2} \\ l_{x y}=\sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)\left(y_{i}-\bar{y}\right)=\sum_{i=1}^{n} x_{i} y_{i}-n \bar{x} \bar{y}\end{array}\right.

(2) 在讨论 σ^2\widehat{\sigma}^{2} 之前,我们需要先去回忆一下 β^0,β^1\widehat{\beta}_{0}, \widehat{\beta}_{1} 的分布：它们是二维正态,

(β^0β^1)∼N((β0β1),((1n+xˉ2lxx)σ2−xˉσ2lxx−xˉσ2lxxσ2lxx)),\left(\begin{array}{l} \hat{\beta}_{0} \\ \hat{\beta}_{1} \end{array}\right) \sim N\left(\left(\begin{array}{l} \beta_{0} \\ \beta_{1} \end{array}\right),\left(\left(\begin{array}{cc} \left.\frac{1}{n}+\frac{\bar{x}^{2}}{l_{x x}}\right) \sigma^{2} & -\frac{\bar{x} \sigma^{2}}{l_{x x}} \\ -\frac{\bar{x} \sigma^{2}}{l_{x x}} & \frac{\sigma^{2}}{l_{x x}} \end{array}\right)\right),\right.

因此有 y^i=β^0+β^1xi∼N(β0+β1xi,(1n+(xi−xˉ)2lxx)σ2)\hat{y}_{i}=\hat{\beta}_{0}+\hat{\beta}_{1} x_{i} \sim N\left(\beta_{0}+\beta_{1} x_{i},\left(\frac{1}{n}+\frac{\left(x_{i}-\bar{x}\right)^{2}}{l_{x x}}\right) \sigma^{2}\right), 且.

Cov⁡(y^i,yi)=Cov⁡(β^0+β^1xi,yi)=Cov⁡(yˉ,yi)+(xi−xˉ)Cov⁡(β^1,yi)=(1n+(xi−xˉ)2lxx)σ2.\operatorname{Cov}\left(\hat{y}_{i}, y_{i}\right)=\operatorname{Cov}\left(\hat{\beta}_{0}+\hat{\beta}_{1} x_{i}, y_{i}\right)=\operatorname{Cov}\left(\bar{y}, y_{i}\right)+\left(x_{i}-\bar{x}\right) \operatorname{Cov}\left(\hat{\beta}_{1}, y_{i}\right)=\left(\frac{1}{n}+\frac{\left(x_{i}-\bar{x}\right)^{2}}{l_{x x}}\right) \sigma^{2} .

再去探讨 σ^2\hat{\sigma}^{2} ，有

E(nσ^2)=∑i=1nE(yi−y^i)2=∑i=1nE(yi−Eyi+Eyi−y^i)2=∑i=1nE[(yi−Eyi)2−2(yi−Eyi)(y^i−Eyi)+(y^i−Eyi)2]\begin{aligned} E\left(n \widehat{\sigma}^{2}\right) &=\sum_{i=1}^{n} E\left(y_{i}-\hat{y}_{i}\right)^{2}=\sum_{i=1}^{n} E\left(y_{i}-E y_{i}+E y_{i}-\hat{y}_{i}\right)^{2} \\ &=\sum_{i=1}^{n} E\left[\left(y_{i}-E y_{i}\right)^{2}-2\left(y_{i}-E y_{i}\right)\left(\hat{y}_{i}-E y_{i}\right)+\left(\hat{y}_{i}-E y_{i}\right)^{2}\right] \end{aligned}

其中, ∑i=1nE(yi−Eyi)2=nσ2,∑i=1nE(y^i−Eyi)2=∑i=1nVar⁡(y^i)=2σ2\sum_{i=1}^{n} E\left(y_{i}-E y_{i}\right)^{2}=n \sigma^{2}, \sum_{i=1}^{n} E\left(\hat{y}_{i}-E y_{i}\right)^{2}=\sum_{i=1}^{n} \operatorname{Var}\left(\hat{y}_{i}\right)=2 \sigma^{2}, 且.

∑i=1nE[(yi−Eyi)(y^i−Eyi)]=∑i=1nCov⁡(yi,y^i)=2σ2.\sum_{i=1}^{n} E\left[\left(y_{i}-E y_{i}\right)\left(\hat{y}_{i}-E y_{i}\right)\right]=\sum_{i=1}^{n} \operatorname{Cov}\left(y_{i}, \hat{y}_{i}\right)=2 \sigma^{2} .

综上所述, 有 E(nσ^2)=(n−2)σ2E\left(n \widehat{\sigma}^{2}\right)=(n-2) \sigma^{2}, 因此 σ^2\hat{\sigma}^{2} 不是无偏估计, 但可找到一个修正的无 偏估计

σ~2=1n−2∑i=1n(yi−β^0−β^1xi)2.\tilde{\sigma}^{2}=\frac{1}{n-2} \sum_{i=1}^{n}\left(y_{i}-\hat{\beta}_{0}-\hat{\beta}_{1} x_{i}\right)^{2} .

(3) [法一]一方面, 这是线性模型的显著性检验, 可以对总平方和进行分解,

∑i=1n(yi−yˉ)2=∑i=1n(yi−β^0−β^1xi)2+∑i=1n(yˉ−β^0−β^1xi)2, \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}=\sum_{i=1}^{n}\left(y_{i}-\hat{\beta}_{0}-\widehat{\beta}_{1} x_{i}\right)^{2}+\sum_{i=1}^{n}\left(\bar{y}-\widehat{\beta}_{0}-\widehat{\beta}_{1} x_{i}\right)^{2} \text {, }

其中残差平方和 SSE=∑i=1n(yi−β^0−β^1xi)2S S E=\sum_{i=1}^{n}\left(y_{i}-\hat{\beta}_{0}-\hat{\beta}_{1} x_{i}\right)^{2}, 回归平方和 SSR=∑i=1n(yˉ−β^0−β^1xi)2S S R=\sum_{i=1}^{n}\left(\bar{y}-\widehat{\beta}_{0}-\hat{\beta}_{1} x_{i}\right)^{2},当原假设成立, 这些平方和除以 σ2\sigma^{2} 后无疑都是服从卡方分布的, 根据我们的理解 与分析, 总平方和的自由度是 n−1n-1, 残差平方和的期望是 (n−2)σ2(n-2) \sigma^{2}, 那么回归平 方和就无疑对应一个白由度为 1 的卡方分布.
因此, 当原假设成立时, F=SSRSSE/(n−2)∼F(1,n−2)F=\frac{S S R}{S S E /(n-2)} \sim F(1, n-2), 得到拒绝域为

W={F≥F1−α(1,n−2)}.W=\left\{F \geq F_{1-\alpha}(1, n-2)\right\} .

[法二] 另一方面, 这也是一个系数的 tt 检验, 由于 β^1∼N(β1,σ2lxx)\hat{\beta}_{1} \sim N\left(\beta_{1}, \frac{\sigma^{2}}{l_{x x}}\right), 因此有

β^1−β1σ2lxx∼N(0,1),\frac{\hat{\beta}_{1}-\beta_{1}}{\sqrt{\frac{\sigma^{2}}{l_{x x}}}} \sim N(0,1),

但是方差项 σ2\sigma^{2} 是末知的, 我们只能用无偏估计量

σ~2=1n−2∑i=1n(yi−β^0−β^1xi)2\tilde{\sigma}^{2}=\frac{1}{n-2} \sum_{i=1}^{n}\left(y_{i}-\hat{\beta}_{0}-\hat{\beta}_{1} x_{i}\right)^{2}

去替代.而 (n−2)σ~2σ2∼χ2(n−2)\frac{(n-2) \tilde{\sigma}^{2}}{\sigma^{2}} \sim \chi^{2}(n-2) 且与分子独立, 因此有原假设成立时的检验

W={∣T∣≥t1−α2(n−2)}.W=\left\{|T| \geq t_{1-\frac{\alpha}{2}}(n-2)\right\} .

两种方法的拒绝域是等价的.