北京大学数院-431金融学综合-2018年

一、(10分) X,Y,X, Y, i.i.d.N(0,1),\sim N(0,1),{X=RcosθY=Rsinθ,\left\{\begin{array}{l}X=R \cos \theta \\ Y=R \sin \theta\end{array},\right.E(R2θ),E\left(R^{2} \theta\right), 其中R>0,θ[0,2π]R>0, \theta \in[0,2 \pi] .

Solution:
给大家两种解法, 思考一下是否可行:
解法一:根据题意 (X,Y)(X, Y) 的密度函数是 12πex2+y22\frac{1}{2 \pi} e^{-\frac{x^{2}+y^{2}}{2}}, 故

E(R2θ)=R2(x2+y2)arctanyx12πex2+y22dxdy=12π02πθdθ0+r3er22dr=12π4π222=2π.\begin{aligned} E\left(R^{2} \theta\right) &=\int_{\mathbb{R}^{2}}\left(x^{2}+y^{2}\right) \arctan \frac{y}{x} \cdot \frac{1}{2 \pi} e^{-\frac{x^{2}+y^{2}}{2}} d x d y \\ &=\frac{1}{2 \pi} \int_{0}^{2 \pi} \theta d \theta \int_{0}^{+\infty} r^{3} e^{-\frac{r^{2}}{2}} d r \\ &=\frac{1}{2 \pi} \cdot \frac{4 \pi^{2}}{2} \cdot 2=2 \pi . \end{aligned}

解法二: 用微分法,

P{R=r,θ=α}=P{X=rcosα,Y=rsinα}=fX,Y(rcosα,rsinα)(rcosα,rsinα)(r,α)drdα=12πrer22drdα\begin{aligned} P\{R=r, \theta=\alpha\} &=P\{X=r \cos \alpha, Y=r \sin \alpha\} \\ &=f_{X, Y}(r \cos \alpha, r \sin \alpha)\left|\frac{\partial(r \cos \alpha, r \sin \alpha)}{\partial(r, \alpha)}\right| d r d \alpha \\ &=\frac{1}{2 \pi} r e^{-\frac{r^{2}}{2}} d r d \alpha \end{aligned}

因此 (R,θ)(R, \theta) 的联合密度是 12πrer22,0θ2π,r>0\frac{1}{2 \pi} r e^{-\frac{r^{2}}{2}}, 0 \leq \theta \leq 2 \pi, r>0.

E(R2θ)=12π02πθdθ0+r3er22dr=12π4π222=2π.E\left(R^{2} \theta\right)=\frac{1}{2 \pi} \int_{0}^{2 \pi} \theta d \theta \int_{0}^{+\infty} r^{3} e^{-\frac{r^{2}}{2}} d r=\frac{1}{2 \pi} \cdot \frac{4 \pi^{2}}{2} \cdot 2=2 \pi .

[注]: 解法一是一种错误做法, 因为 θ\theta 不能简单地表示为 arctanyx,θ\arctan \frac{y}{x}, \theta 的取值范围是 [0,2π][0,2 \pi], 而 arctanyx\arctan \frac{y}{x} 则取值在 (π2,π2)\left(-\frac{\pi}{2}, \frac{\pi}{2}\right) 之间.

二、(10分) X1,,Xn,X_{1}, \ldots, X_{n}, i.i.d. f(x)=ax2I[1<x<b],\sim f(x)=a x^{2} I[1<x<b], 其中 a>0,b>1,Bi={Xi>413}a>0, b>1, B_{i}=\left\{X_{i}>4^{\frac{1}{3}}\right\},

(1)(5分) P(B1B1B2)=0.7,P\left(B_{1} \mid B_{1} \cup B_{2}\right)=0.7,a,ba, b;

(2)(5分) 在 (1) 的条件下, 证明 (k=1nXk)1nc,\left(\prod_{k=1}^{n} X_{k}\right)^{\frac{1}{n}} \rightarrow c, a.s., 当 n,n \rightarrow \infty, 并求常数 cc.

Solution:
(1)

P(B1)=413bax2dx=a3x3413b=a3(b34)P(B1B1B2)=P(B1)P(B1)+P(B2)P(B1)P(B2)=12P(B1)=0.7,\begin{aligned} &P\left(B_{1}\right)=\int_{4^{\frac{1}{3}}}^{b} a x^{2} d x=\left.\frac{a}{3} x^{3}\right|_{4^{\frac{1}{3}}} ^{b}=\frac{a}{3}\left(b^{3}-4\right) \\ &P\left(B_{1} \mid B_{1} \cup B_{2}\right)=\frac{P\left(B_{1}\right)}{P\left(B_{1}\right)+P\left(B_{2}\right)-P\left(B_{1}\right) P\left(B_{2}\right)}=\frac{1}{2-P\left(B_{1}\right)}=0.7, \end{aligned}

2a3(b34)=107a(b34)=1272-\frac{a}{3}\left(b^{3}-4\right)=\frac{10}{7} \Rightarrow a\left(b^{3}-4\right)=\frac{12}{7}, 此外, 根据概率的正则性, 有 1=1bax2dx=a3x31b=a3(b31)a(b31)=31=\int_{1}^{b} a x^{2} d x=\left.\frac{a}{3} x^{3}\right|_{1} ^{b}=\frac{a}{3}\left(b^{3}-1\right) \Rightarrow a\left(b^{3}-1\right)=3, 联立后解得 a=37,b=2a=\frac{3}{7}, b=2.

(2) ElnX1=3712lnxx2dx=370ln2te3tdt=87ln213E \ln X_{1}=\frac{3}{7} \int_{1}^{2} \ln x \cdot x^{2} d x=\frac{3}{7} \int_{0}^{\ln 2} t e^{3 t} d t=\frac{8}{7} \ln 2-\frac{1}{3}, 根据强大数律

1ni=1nlnXi87ln213, a.s. \frac{1}{n} \sum_{i=1}^{n} \ln X_{i} \rightarrow \frac{8}{7} \ln 2-\frac{1}{3}, \text { a.s. }

exp()\exp (\cdot) 是连续函数, 因此

(iXi)1n=exp(1ni=1nlnXi)exp(87ln213)=287e13, a.s. \left(\prod_{i} X_{i}\right)^{\frac{1}{n}}=\exp \left(\frac{1}{n} \sum_{i=1}^{n} \ln X_{i}\right) \rightarrow \exp \left(\frac{8}{7} \ln 2-\frac{1}{3}\right)=2^{\frac{8}{7}} e^{-\frac{1}{3}}, \text { a.s. }

三、(10分) (X,Y)f(x,y)=14[1+12xy(x2y2)],x<1,y<1,(X, Y) \sim f(x, y)=\frac{1}{4}\left[1+\frac{1}{2} x y\left(x^{2}-y^{2}\right)\right],|x|<1,|y|<1,YY 的特征函数.

Solution:
先求 YY 的边缘密度, 根据题意, 有

fY(y)=1411[1+12xy(x2y2)]dx=14[2+12y11x3dx12y311xdx]=12\begin{aligned} f_{Y}(y) &=\frac{1}{4} \int_{-1}^{1}\left[1+\frac{1}{2} x y\left(x^{2}-y^{2}\right)\right] d x \\ &=\frac{1}{4}\left[2+\frac{1}{2} y \int_{-1}^{1} x^{3} d x-\frac{1}{2} y^{3} \int_{-1}^{1} x d x\right] \\ &=\frac{1}{2} \end{aligned}

因此, YY 的特征函数是

φ(t)=EeitY=EcostY+iEsintY=1211costydy=sintt\begin{aligned} \varphi(t)=E e^{i t Y} &=E \cos t Y+i E \sin t Y \\ &=\frac{1}{2} \int_{-1}^{1} \cos t y d y \\ &=\frac{\sin t}{t} \end{aligned}

四、(10分) {N(t),t0}\{N(t), t \geq 0\} 是强度为 λ\lambda 的泊松过程, 当 0<t<s0<t<s 时, 计算 E[N(s)N(t)]E[N(s) \mid N(t)] 以及当 N(s)=nN(s)=n时, N(t)N(t) 的条件分布.

Solution:
法一:先计算 N(s)N(t)N(s) \mid N(t) 的条件分布, 再去计算期望.

P{N(s)=nN(t)=k}=P{N(st)=nk,N(t)=k}P{N(t)=k}=P{N(st)=nk},P\{N(s)=n \mid N(t)=k\}=\frac{P\{N(s-t)=n-k, N(t)=k\}}{P\{N(t)=k\}}=P\{N(s-t)=n-k\},

有了条件分布, 可以计算出条件期望, 即

E[N(s)N(t)]=n=N(t)+nP{N(st)=nN(t)}=n=N(t)+n(λ(st))nN(t)(nN(t))!eλ(st)=λ(st)+N(t)\begin{aligned} E[N(s) \mid N(t)] &=\sum_{n=N(t)}^{+\infty} n P\{N(s-t)=n-N(t)\} \\ &=\sum_{n=N(t)}^{+\infty} n \cdot \frac{(\lambda(s-t))^{n-N(t)}}{(n-N(t)) !} e^{-\lambda(s-t)} \\ &=\lambda(s-t)+N(t) \end{aligned}

(注意: n=k+nλnk(nk)!=λn=k+(nk)λnk1(nk)!+kn=k+λnk(nk)!=(λ+k)eλ)\left.\sum_{n=k}^{+\infty} n \frac{\lambda^{n-k}}{(n-k) !}=\lambda \sum_{n=k}^{+\infty}(n-k) \frac{\lambda^{n-k-1}}{(n-k) !}+k \sum_{n=k}^{+\infty} \frac{\lambda^{n-k}}{(n-k) !}=(\lambda+k) e^{-\lambda}\right)

法二:直接利用泊松过程的独立增量性去计算期望.

E[N(s)N(t)]=E[N(s)N(t)N(t)]+E[N(t)N(t)]=E[N(st)N(t)]+N(t)=λ(st)+N(t)\begin{aligned} E[N(s) \mid N(t)] &=E[N(s)-N(t) \mid N(t)]+E[N(t) \mid N(t)] \\ &=E[N(s-t) \mid N(t)]+N(t) \\ &=\lambda(s-t)+N(t) \end{aligned}

下面计算 N(s)=nN(s)=n 时, N(t)N(t) 的条件分布:

P{N(t)=kN(s)=n}=P{N(s)=nN(t)=k}P{N(t)=k}P{N(s)=n}=P{N(st)=nk}P{N(t)=k}P{N(s)=n}=[λ(st)]nkeλ(st)(nk)!n!(λs)neλs(λt)keλtk!=Cnk(ts)k(sts)nk\begin{aligned} P\{N(t)=k \mid N(s)=n\} &=\frac{P\{N(s)=n \mid N(t)=k\} P\{N(t)=k\}}{P\{N(s)=n\}} \\ &=\frac{P\{N(s-t)=n-k\} P\{N(t)=k\}}{P\{N(s)=n\}} \\ &=\frac{[\lambda(s-t)]^{n-k} e^{-\lambda(s-t)}}{(n-k) !} \cdot \frac{n !}{(\lambda s)^{n} e^{-\lambda s}} \cdot \frac{(\lambda t)^{k} e^{-\lambda t}}{k !} \\ &=C_{n}^{k}\left(\frac{t}{s}\right)^{k}\left(\frac{s-t}{s}\right)^{n-k} \end{aligned}

五、(10分) A1A2A3=Ω,P(A1)=P(A3)=P(A3)=p,A_{1} \cup A_{2} \cup A_{3}=\Omega, P\left(A_{1}\right)=P\left(A_{3}\right)=P\left(A_{3}\right)=p, 且三者不同时发生, 求 pp 的范围.

Solution:
对于该题, 我们引入示性函数, 首先由于 A1A2A3=ΩA_{1} \cup A_{2} \cup A_{3}=\Omega, 有

1IA1+IA2+IA3,1 \leq I_{A_{1}}+I_{A_{2}}+I_{A_{3}},

其次, 由于三者不同时发生, 有

IA1+IA2+IA32.I_{A_{1}}+I_{A_{2}}+I_{A_{3}} \leq 2 .

对上述两式求期望得:

13p213p23.1 \leq 3 p \leq 2 \Rightarrow \frac{1}{3} \leq p \leq \frac{2}{3} .

再考虑构造两个模型使得等号成立:
(1) Ω=[0,1),A1=[0,13),A2=[13,23),A3=[23,1)\Omega=[0,1), A_{1}=\left[0, \frac{1}{3}\right), A_{2}=\left[\frac{1}{3}, \frac{2}{3}\right), A_{3}=\left[\frac{2}{3}, 1\right), 满足题意, 此时 p=13p=\frac{1}{3}.
(2) Ω=[0,1),A1=[0,23),A2=[13,1),A3=[0,13)[23,1)\Omega=[0,1), A_{1}=\left[0, \frac{2}{3}\right), A_{2}=\left[\frac{1}{3}, 1\right), A_{3}=\left[0, \frac{1}{3}\right) \cup\left[\frac{2}{3}, 1\right), 满足题意, 此时 p=23p=\frac{2}{3}.
13p23\frac{1}{3} \leq p \leq \frac{2}{3}.
[注]: 对于给定一定条件, 求 pp 的取值范围的题目, 解题思路是分两步走, 第一步是构造出不等式限定住 pp 的取值范围, 第二步是构造出相应的模型使得等号成立.

六、(15分) 总体 XB(1,p),x1,,xnX \sim B(1, p), x_{1}, \ldots, x_{n} 为简单随机样本,

(1)(5分) 求 pmp^{m} 的一致最小方差无偏估计 (0<mn)(0<m \leq n);

(2)(5分) 求 P(j=1n1xj>xn)P\left(\sum_{j=1}^{n-1} x_{j}>x_{n}\right) 的一致最小方差无偏估计;

(3)(5分) 给出一种求 pp 的区间估计的方法.

Solution:
(1) 我们知道两点分布有完全的充分统计量 T=i=1nxiB(n,p)T=\sum_{i=1}^{n} x_{i} \sim B(n, p), 现在我们去考虑一
个服从 B(nm,p)B(n-m, p) 的随机变量 XX 的分布列的和, 即

k=0nm(nm)!k!(nmk)!pk(1p)nmk=1,\sum_{k=0}^{n-m} \frac{(n-m) !}{k !(n-m-k) !} p^{k}(1-p)^{n-m-k}=1,

适当作下标的变形, 即为

k=mn(nm)!(km)!(nk)!pkm(1p)nk=1,\sum_{k=m}^{n} \frac{(n-m) !}{(k-m) !(n-k) !} p^{k-m}(1-p)^{n-k}=1,

k=0m1(nm)!(km)!(nk)!pkm(1p)nkP{X<0}=0\sum_{k=0}^{m-1} \frac{(n-m) !}{(k-m) !(n-k) !} p^{k-m}(1-p)^{n-k} \leq P\{X<0\}=0, 所以

k=0n(nm)!(km)!(nk)!pkm(1p)nk=1,\sum_{k=0}^{n} \frac{(n-m) !}{(k-m) !(n-k) !} p^{k-m}(1-p)^{n-k}=1,

左右同时乘 pmp^{m} 并注意到 (nm)!(km)!(nk)!=k(k1)(km+1)n(n1)(nm+1)n!k!(nk)!\frac{(n-m) !}{(k-m) !(n-k) !}=\frac{k \cdot(k-1) \cdots(k-m+1)}{n \cdot(n-1) \cdots(n-m+1)} \cdot \frac{n !}{k !(n-k) !}, 故

k=0nk(k1)(km+1)n(n1)(nm+1)Cnkpk(1p)nk=pm,\sum_{k=0}^{n} \frac{k \cdot(k-1) \cdots(k-m+1)}{n \cdot(n-1) \cdots(n-m+1)} C_{n}^{k} p^{k}(1-p)^{n-k}=p^{m},

ET(T1)(Tm+1)n(n1)(nm+1)=pmE \frac{T \cdot(T-1) \cdots(T-m+1)}{n \cdot(n-1) \cdots(n-m+1)}=p^{m}, 这完全的充分统计量构造的,故是 UMVUE.

(2)首先有E(I[j=1n1Xj>Xn])=P(j=1n1Xj>Xn)E\left(I\left[\sum_{j=1}^{n-1} X_{j}>X_{n}\right]\right)=P(\sum_{j=1}^{n-1} X_{j}>X_{n}).
故由L-S定理可知, E(I[j=1n1Xj>Xn]T)E\left(I\left[\sum_{j=1}^{n-1} X_{j}>X_{n}\right]\mid T\right)P(j=1n1Xj>Xn)P\left(\sum_{j=1}^{n-1} X_{j}>X_{n}\right)的UMVUE.
T=0T=0时, 有

E(I[j=1n1Xj>Xn]T=0)=P(j=1n1Xj>Xn,j=1nXj=0)P(j=1nXj=0)=0.E\left(I\left[\sum_{j=1}^{n-1} X_{j}>X_{n}\right]\mid T=0\right)=\frac{P\left(\sum_{j=1}^{n-1} X_{j}>X_{n}, \sum_{j=1}^n X_j =0\right)}{P(\sum_{j=1}^n X_j =0)}=0.

T=1T=1时, 有

E(I[j=1n1Xj>Xn]T=1)=P(j=1n1Xj>Xn,j=1nXj=1)P(j=1nXj=1)=P(j=1n1Xj=1)P(Xn=0)P(j=1nXj=1)=Cn11p1(1p)n2(1p)Cn1p1(1p)n1=n1n.\begin{aligned} E\left(I\left[\sum_{j=1}^{n-1} X_{j}>X_{n}\right]\mid T=1\right)&=\frac{P\left(\sum_{j=1}^{n-1} X_{j}>X_{n}, \sum_{j=1}^n X_j =1\right)}{P(\sum_{j=1}^n X_j =1)}\\ &=\frac{P(\sum_{j=1}^{n-1} X_{j}=1)P(X_n=0)}{P(\sum_{j=1}^n X_j =1)}\\ &=\frac{C_{n-1}^1\cdot p^1\cdot(1-p)^{n-2}\cdot(1-p)}{C_n^1\cdot p^1\cdot(1-p)^{n-1}}=\frac{n-1}{n}. \end{aligned}

T=2T=2时, 有

E(I[j=1n1Xj>Xn]T=2)=P(j=1n1Xj>Xn,j=1nXj=2)P(j=1nXj=2)=P(j=1n1Xj=2)P(Xn=0)P(j=1nXj=2)=Cn12p2(1p)n2(1p)Cn2p2(1p)n1=n2n.\begin{aligned} E\left(I\left[\sum_{j=1}^{n-1} X_{j}>X_{n}\right]\mid T=2\right)&=\frac{P\left(\sum_{j=1}^{n-1} X_{j}>X_{n}, \sum_{j=1}^n X_j =2\right)}{P(\sum_{j=1}^n X_j =2)}\\ &=\frac{P(\sum_{j=1}^{n-1} X_{j}=2)P(X_n=0)}{P(\sum_{j=1}^n X_j =2)}\\ &=\frac{C_{n-1}^2\cdot p^2\cdot(1-p)^{n-2}\cdot(1-p)}{C_n^2\cdot p^2\cdot(1-p)^{n-1}}=\frac{n-2}{n}. \end{aligned}

T3T\geq 3时, 有

E(I[j=1n1Xj>Xn]T=3)=P(j=1n1Xj>Xn,j=1nXj=3)P(j=1nXj=3)=1.\begin{aligned} E\left(I\left[\sum_{j=1}^{n-1} X_{j}>X_{n}\right]\mid T=3\right)=\frac{P\left(\sum_{j=1}^{n-1} X_{j}>X_{n}, \sum_{j=1}^n X_j =3\right)}{P(\sum_{j=1}^n X_j =3)}=1. \end{aligned}

综上所述

V(T)={0,T=0n1n,T=1n2n,T=21,T3V(T)= \begin{cases}0, & T=0 \\ \frac{n-1}{n}, & T=1 \\ \frac{n-2}{n}, & T=2 \\ 1, & T\geq 3\end{cases}

P(j=1n1Xj>Xn)P\left(\sum_{j=1}^{n-1} X_{j}>X_{n}\right) 的 UMVUE.

(3)
[法一: 正态近似] 当样本量较大时, 根据中心极限定理, 近似有 n(xˉp)p(1p)(0,1)\frac{\sqrt{n}(\bar{x}-p)}{\sqrt{p(1-p)}} \sim(0,1), 但是由于 pp 本身就是待估参数, 根据强大数律知道 xˉp\bar{x} \rightarrow p, a.s. , 故近似有

n(xˉp)xˉ(1xˉ)N(0,1)\frac{\sqrt{n}(\bar{x}-p)}{\sqrt{\bar{x}(1-\bar{x})}} \sim N(0,1)

因此 pp 的水平为 α\alpha 的置信区间为

[xˉu1α2xˉ(1xˉ)n,xˉ+u1α2xˉ(1xˉ)n].\left[\bar{x}-u_{1-\frac{\alpha}{2}} \sqrt{\frac{\bar{x}(1-\bar{x})}{n}}, \bar{x}+u_{1-\frac{\alpha}{2}} \sqrt{\frac{\bar{x}(1-\bar{x})}{n}}\right] .

[法二: 利用Beta 分布] 考虑到恒等式:

i=knCnipi(1p)ni=0pn!(k1)!(nk)!xk1(1x)nkdx,i=0kCnipi(1p)ni=p1n!k!(nk1)!xk(1x)nk1dx,\begin{aligned} &\sum_{i=k}^{n} C_{n}^{i} p^{i}(1-p)^{n-i}=\int_{0}^{p} \frac{n !}{(k-1) !(n-k) !} x^{k-1}(1-x)^{n-k} d x, \\ &\sum_{i=0}^{k} C_{n}^{i} p^{i}(1-p)^{n-i}=\int_{p}^{1} \frac{n !}{k !(n-k-1) !} x^{k}(1-x)^{n-k-1} d x, \end{aligned}

我们去考虑两个单侧区间, 使得 p[0,p1],p[p2,1]p \in\left[0, p_{1}\right], p \in\left[p_{2}, 1\right] 的概率都是 α2\frac{\alpha}{2}. 如果样本发牛
i=1nxi=n0\sum_{i=1}^{n} x_{i}=n_{0}, 那么我们应该找到一个根 p1p_{1}, 使得

α2=i=n0nCnipi(1p)ni=0pn!(n01)!(nn0)!xn01(1x)nn0dx,\frac{\alpha}{2}=\sum_{i=n_{0}}^{n} C_{n}^{i} p^{i}(1-p)^{n-i}=\int_{0}^{p} \frac{n !}{\left(n_{0}-1\right) !\left(n-n_{0}\right) !} x^{n_{0}-1}(1-x)^{n-n_{0}} d x,

而等式右侧的积分恰好是 Beta 分布的积分, 故 p1=Betaα2(n0,nn0+1)p_{1}=\operatorname{Beta}_{\frac{\alpha}{2}}\left(n_{0}, n-n_{0}+1\right), 同理我们
应该找到一个根 p2p_{2}, 使得

α2=p1n!n0!(nn01)!xn0(1x)nn01dx,\frac{\alpha}{2}=\int_{p}^{1} \frac{n !}{n_{0} !\left(n-n_{0}-1\right) !} x^{n_{0}}(1-x)^{n-n_{0}-1} d x,

解得 p2=Beta1α2(n0+1,nn0)p_{2}=\operatorname{Beta}_{1-\frac{\alpha}{2}}\left(n_{0}+1, n-n_{0}\right), 故 pp 的水平为 α\alpha 的置信区间为

[Betaα2(n0,nn0+1),Beta1α2(n0+1,nn0)].\left[\operatorname{Beta}_{\frac{\alpha}{2}}\left(n_{0}, n-n_{0}+1\right), \operatorname{Beta}_{1-\frac{\alpha}{2}}\left(n_{0}+1, n-n_{0}\right)\right] .

七、(10分) 现有正态分布 N(μ,1)N(\mu, 1)nn 个样本 x1,,xn,x_{1}, \ldots, x_{n}, 取值小于 0 时记为 1,1, 否则记为 0,0,μ\muMLE\mathrm{MLE}

Solution:
由于 P{x1=1}=P{X<0}=P{Xμ<μ}=Φ(μ)P\left\{x_{1}=1\right\}=P\{X<0\}=P\{X-\mu<-\mu\}=\Phi(-\mu), 我们可以看出 xˉ\bar{x}Φ(μ)\Phi(-\mu) 的 MLE, 现在根据 MLE 的不变性可以得出:

Φ1(xˉ) 是 μ 的 MLE. -\Phi^{-1}(\bar{x}) \text { 是 } \mu \text { 的 MLE. }

八、(10分) 叙述并证明Neyman-Pearson引理.

Solution:
该题重复考察多次, 不再赘述.

九、(15分) Y,X1,,XnY, X_{1}, \ldots, X_{n} 是方差有限的随机变量, EY=μ,EXi=μi,E Y=\mu, E X_{i}=\mu_{i}, XX 的协方差矩阵 Σ\Sigma 正定, C=(Cov(X1,Y),,Cov(Xn,Y)),C=\left(\operatorname{Cov}\left(X_{1}, Y\right), \ldots, \operatorname{Cov}\left(X_{n}, Y\right)\right), 求常数 b0,b1,,bnb_{0}, b_{1}, \ldots, b_{n} 使得E[Yb0b1X1bnXn]2E\left[Y-b_{0}-b_{1} X_{1}-\ldots-b_{n} X_{n}\right]^{2} 达到最小.

Solution:
解法一:记 Q=E[Yb0b1X1bnXn]2Q=E\left[Y-b_{0}-b_{1} X_{1}-\ldots-b_{n} X_{n}\right]^{2}, 由于协方差存在, 可以进行积分号下的求导, 基于此建立正规方程组:

{Qb0=2E[Yb0b1X1bnXn]=0Qbi=2EXi[Yb0b1X1bnXn]llet=0,i=1,2,,n\left\{\begin{array}{c} \frac{\partial Q}{\partial b_{0}}=-2 E\left[Y-b_{0}-b_{1} X_{1}-\ldots-b_{n} X_{n}\right]=0 \\ \frac{\partial Q}{\partial b_{i}}=-2 E X_{i}\left[Y-b_{0}-b_{1} X_{1}-\ldots-b_{n} X_{n}\right] \stackrel{l e t}{l}=0, i=1,2, \ldots, n \end{array}\right.

解关于 b0b_{0} 的式子, 得到 EY=b0+b1EX1++bnXnE Y=b_{0}+b_{1} E X_{1}+\ldots+b_{n} X_{n}, 故有

EXi[EYb0b1EXbnXn]=0,i=1,2,,n.E X_{i}\left[E Y-b_{0}-b_{1} E X-\ldots-b_{n} X_{n}\right]=0, i=1,2, \ldots, n .

所以关于 bib_{i} 的式子就等价于 Cov(Xi,Yb0b1X1bnXn)=0\operatorname{Cov}\left(X_{i}, Y-b_{0}-b_{1} X_{1}-\ldots-b_{n} X_{n}\right)=0, 即

Cov(Xi,X1)b1++Cov(Xi,Xn)bn=Cov(Xi,Y),\operatorname{Cov}\left(X_{i}, X_{1}\right) b_{1}+\ldots+\operatorname{Cov}\left(X_{i}, X_{n}\right) b_{n}=\operatorname{Cov}\left(X_{i}, Y\right),

nn 个式子联立就得到了线性方程组:

ΣB=CT\Sigma B=C^{T} \text {, }

(b1,b2,,bn)T=Σ1CT,b0=EYb1EX1bnEXn\left(b_{1}, b_{2}, \ldots, b_{n}\right)^{T}=\Sigma^{-1} C^{T}, b_{0}=E Y-b_{1} E X_{1}-\ldots-b_{n} E X_{n}.

解法二:显然 Q=E[(YEY)+(EYb0i=1nbiEXi)(i=1nbi(XiEXi))]2Q=E\left[(Y-E Y)+\left(E Y-b_{0}-\sum_{i=1}^{n} b_{i} E X_{i}\right)-\left(\sum_{i=1}^{n} b_{i}\left(X_{i}-E X_{i}\right)\right)\right]^{2},
将平方打开, 注意到 EYb0i=1nbiEXiE Y-b_{0}-\sum_{i=1}^{n} b_{i} E X_{i} 可以看作常数 AA, 故

Q=E[(YEY)2+(i=1nbi(XiEXi))22i=1nbi(XiEXi)(YEY)+A2]Q=E\left[(Y-E Y)^{2}+\left(\sum_{i=1}^{n} b_{i}\left(X_{i}-E X_{i}\right)\right)^{2}-2 \sum_{i=1}^{n} b_{i}\left(X_{i}-E X_{i}\right)(Y-E Y)+A^{2}\right]

Q=i=1nj=1nbibjCov(Xi,Xj)2i=1nbiCov(Xi,Y)+Var(Y)+A2Q=\sum_{i=1}^{n} \sum_{j=1}^{n} b_{i} b_{j} \operatorname{Cov}\left(X_{i}, X_{j}\right)-2 \sum_{i=1}^{n} b_{i} \operatorname{Cov}\left(X_{i}, Y\right)+\operatorname{Var}(Y)+A^{2}, 想要使 QQ 达最小, 必 须让 A=0A=0 并让前方的二次函数各个偏导为 0 , 也能得到一样的线性方程组, 便不赘述.