北京师范大学-432统计学-2024年-解析

北京师范大学-432统计学-2024年

一、(30分) 试卷中给出了一组数据.

(1) 求该组数据$\alpha$分位数的表达式.

(2) 用两种盒形图描述以上数据, 并说明主要数值的具体含义.

(3) 设$w_i \in (0,1)$, 且$\sum_{i=1}^n w_i = 1$, 定义$\bar{X}_w = \sum_{i=1}^n w_i X_i$, 证明:

$\sum_{i=1}^n \left( X_i - \bar{X}_w \right)^2 = \frac{1}{2} \sum_{i=1}^n w_iw_j \left(X_i-X_j\right)^2$

并解释该等式的含义.

Solution: (1) 样本$\alpha$分位数$m_{\alpha}$指的是在$n$个样本$X_1,\cdots,X_n$中, 小于等于$m_{\alpha}$的比例$\frac{1}{n}\sum_{i=1}^n I_{\{X_i \le m_{\alpha}\}}= \alpha$, 这个定义来源于总体分位数$P(X\le x_{\alpha}) = \alpha$.

(2) 盒形图（Boxplot）是一种用于显示一组数据分布情况的图表。通常，盒形图包括以下部分：

中位数：数据的中位数，表示为盒子中的一条线。

四分位数：数据的第一四分位数（Q1）和第三四分位数（Q3），分别表示数据分布的25%和75%位置。这两个值定义了盒子的边界。

“胡须”（Whiskers）：从盒子外延伸出的线，通常延伸到1.5倍的四分位距（即Q3 - Q1）之外的最近的数据点。

异常值：通常使用点来表示，这些点位于胡须之外。

盒形图的两种常见变体是：(a) 标准盒形图：使用上述标准定义的元素。(b) 调整后的盒形图：可能有不同的方法来计算“胡须”的长度，例如，它们可能延伸到所有非异常值数据点，或者使用不同的倍数来计算四分位距。

随机生成了20个数据, 画图作为示例:

(3) 从右侧出发:

$\begin{aligned} 2\mathrm{RHS}:&=\sum_{i=1}^n{\sum_{j=1}^n{w_iw_j\left( X_i-X_j \right) ^2}}=\sum_{i=1}^n{w_i\sum_{j=1}^n{w_j\left( X_{i}^{2}+X_{j}^{2}-2X_iX_j \right)}}\\ &=\sum_{i=1}^n{w_i\left( X_{i}^{2}+\sum_{j=1}^n{w_jX_{j}^{2}}-2X_i\bar{X}_w \right)}\\ &=\sum_{i=1}^n{w_iX_{i}^{2}}+\sum_{j=1}^n{w_jX_{j}^{2}}-2{\bar{X}_w}^2\\ &=2\left( \sum_{i=1}^n{w_iX_{i}^{2}}-{\bar{X}_w}^2 \right) =\sum_{i=1}^n{w_i\left( X_i-\bar{X}_w \right) ^2}\\ \end{aligned}$

原问题中, 等式左侧表示加权计算的方差, 表达了离散程度, 等式右侧则表示两两样本离差平方的加权组合, 也表示了离散程度.

Remark: 第(3)问是九阳神功-北师大432统计学-2023年大题第2题变式.

二、(30分) 袋中有$n$个编号为$1,2,\cdots,n$的小球, 随机取$1$个.

(1) 写出该问题的概率空间.

(2) 设$n=4$, 举例分别满足以下的事件$A, B, C$:

(a)$P(B|A)<P(B)$;

(b)$P(B|A) = P(B)$;

(c)$P(B|A) > P(B)$;

(d) 两两独立, 但不相互独立.

(3) 设袋中有$a$个红球,$b$个白球, 假设每次从袋中有放回去取一个球, 直到摸到第$r$个红球停止, 此时次数为$X$, 求$X$的分布列和期望.

Solution: (1)
样本空间是所有可能结果的集合。在这个实验中，每次实验的结果是取出一个具有特定编号的小球。因此，样本空间$\Omega$可以定义为：
$\Omega = \{1, 2, \cdots, n\}$.

事件域$\mathcal{F}$是样本空间的所有子集，包括空集和样本空间本身, 可以写作$\mathcal{F}=\{A: A\subset \Omega\}$.

概率测度: 在这个实验中，由于我们是随机取出一个小球，每个小球被取出可以被视作样本点$\omega_i = i$, 它们的概率都是相等的，都是$\frac{1}{n}$, 即$P\left(\{i\}\right) = \frac{1}{n}$.

结合之,$\left(\Omega,\mathcal{F},P\right)$是该问题的概率空间.

(2) (a)$A=\{1,2\}$,$B=\{3\}$; (b)$A=\{1,2,3,4\}$,$B=\{1\}$; (c)$A=\{1,2\}$,$B=\{1\}$; (d)$A=\{1,2\}$,$B=\{2,3\}$,$C=\{3,4\}$.

(3)$X$是负二项分布$Nb(p,r)$, 其中$p = \frac{a}{a+b}$, 故分布列是

$P\left( X = k \right) = C_{k-1}^{r-1} p^{r}\left(1-p\right)^{k-r}, k = r,r+1,\cdots,$

期望是$E(X) = \frac{r}{p} = \frac{a+b}{a}r$.

三、(30分) 有来自$U(a,b)$的随机样本$X_1,\cdots,X_n$.

(1) 求$b-a$的 MLE, 判断其无偏性.

(2) 求$b-a$的矩估计.

(3) 在某次拍卖会, 甲、乙、丙对一件物品竞拍, 每人出价一次, 价高者得. 且已知甲如果买下该商品, 将以 8 万元转卖. 现在甲知道乙、丙的出价均独立服从$U(5,10)$, 请问甲如何出价使得期望收益最大?

Solution: (1) 联合概率密度函数为:
$L(a, b) = \prod_{i=1}^n \frac{1}{b-a}$

最大化$L(a, b)$相当于最小化$b-a$。在样本中，$b$的最大似然估计是样本的最大值$X_{(n)}$，$a$的最大似然估计是样本的最小值$X_{(1)}$。因此，$b-a$的最大似然估计是$X_{(n)} - X_{(1)}$.

接着我们判断无偏性. 我们考虑$Y_i = \frac{X_i-a}{b-a} \sim U(0,1)$, 则有次序统计量分布$Y_{(k)} \sim Be(k,n+1-k)$, 因此$E(Y_{(1)}) = \frac{1}{n+1}$,$E(Y_{(n)})=\frac{n}{n+1}$, 故$E(X_{(1)}) = a + (b-a) \frac{1}{n+1}$,$E(X_{(n)}) = a + (b-a) \frac{n}{n+1}$, 因此$E(X_{(n)} - X_{(1)}) = \frac{n-1}{n+1}(b-a)\neq b-a$, 所以这个估计量是有偏的.

(2) 均匀分布$U(a, b)$的均值和方差分别为$\mu = \frac{a + b}{2}$和$\sigma^2 = \frac{(b - a)^2}{12}$。使用样本均值$\bar{X}$和样本方差$S^2$来估计这两个参数，我们得到:$\hat{b} - \hat{a} = 2\sqrt{3} s$.

(3) 设甲出价$x \in [5,8]$, 乙、丙出价为$Y$,$Z$, 则甲的收益是

$f\left(x, Y, Z\right) = \left(8-x\right) I_{\{x\ge Y,x\ge Z\}},$

求期望有$g\left(x\right) = Ef\left(x, Y, Z\right) = \frac{\left(8-x\right)\left(x-5\right)^2}{25}$, 用高数方法找其最大值在$x=7$取到.

Remark: 前两问与九阳神功-北大849统计学-2021年第七题一致.

四、(30分) (1) 作出原假设的依据是什么? 原假设和备择假设的地位是否等同?

(2) 以正态分布为例, 简述置信区间和假设检验的区别和联系.

(3) 现有 81 个学生的成绩, 假设其来自于正态分布$N(\mu,\sigma^2)$, 且样本均值$\bar{X} = 69.8$, 样本标准差$s = 10$,$\alpha =0.05$. (可能用到的分位数:$t_{0.975}(80)=1.99$,$u_{0.975} = 1.96$,$\chi_{0.975}^2(80)=106.63$) 请回答下述问题:

(a) 能否认为$\mu = 72$?

(b) 求$\mu$的置信区间.

(c) 能否认为$\sigma = 8.8$?

Solution: (1) 作出原假设（通常表示为$H_0$）的依据通常是以下几点：(i) 现有理论或知识：原假设往往基于现有的理论或广泛接受的知识。例如，如果现有理论表明两种药物效果相同，那么原假设可能就是“这两种药物的效果没有差异”。(ii) 简单性或保守性：在统计学中，原假设通常是一个简单假设，它提出了最简单、最保守的情况。例如，“新药与安慰剂效果无差别”是一个比“新药比安慰剂效果好”更简单、更保守的假设。(iii) 研究目的：研究者可能会根据研究目的来确定原假设。如果研究目的是证明某种新的干预措施有效，那么原假设可能就是“新干预措施与现有措施效果相同”。

此外, 原假设和备择假设（通常表示为$H_1$）在统计假设检验中的地位并不等同。原假设是被默认为真的假设，直到有足够的证据来拒绝它。备择假设则是与原假设相对立的假设，通常是研究者试图证明的假设。当统计证据不足以拒绝原假设时，我们并不接受备择假设，而是说没有足够的证据支持备择假设。这表明，在假设检验中，原假设具有一定的“优先权”。这种方法有助于控制做出错误结论的风险，特别是避免第一类错误。

(2) 区别: 置信区间是针对参数设立的集合, 拒绝域是针对样本的集合. 联系: 在形式上, 置信区间和拒绝域存在互补的关系(或说置信区间与接受域在形式上是等同的).

以正态分布为例, 正态分布$N(\mu,1)$中$\mu$的 0.95 置信区间是

$\bar{x} - \frac{z_{0.975}}{\sqrt{n}}\le \mu \le \bar{x} + \frac{z_{0.975}}{\sqrt{n}}.$

同时,$H_0: \mu = \mu_0 \quad \mathrm{vs} \quad H_1: \mu \neq \mu_0$的拒绝域是

$W=\{\left|\bar{x} - \mu_0\right| >\frac{z_{0.975}}{\sqrt{n}} \},$

接受域可以写成$W=\{x: \bar{x} - \frac{z_{0.975}}{\sqrt{n}}\le \mu_0 \le \bar{x} + \frac{z_{0.975}}{\sqrt{n}}\}$. 显然, 置信区间与接受域在形式上是等同的, 但置信区间中,$\mu$是未知参数, 接受域中,$\mu_0$是已知的, 且接受域和拒绝域中, 元素是样本, 而置信区间则是参数的集合.

(3) (a) 使用单样本t检验来确定是否可以拒绝原假设$\mu = 72$。检验统计量$t$的计算公式为:
$t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}$
其中，$\bar{X} = 69.8$,$\mu_0 = 72$,$s = 10$,$n = 81$。计算得到的$t$值为$-1.98$，而在$\alpha = 0.05$的显著性水平下的临界t值为 ±1.99（双尾检验）。因为计算出的t值在临界值的范围内，所以没有足够的证据拒绝原假设$\mu = 72$。

(b) 对于$\mu$的95%置信区间，计算公式为:
$\bar{X} \pm t_{0.975} \times \frac{s}{\sqrt{n}}$
其中，$t_{0.975}$为t分布在$0.975$处的临界值。计算得到的置信区间为$(67.59, 72.01)$。

(c) 使用卡方检验来确定是否可以拒绝原假设$\sigma = 8.8$。检验统计量$\chi^2$的计算公式为:
$\chi^2 = \frac{(n - 1)s^2}{\sigma_0^2}$
其中，$\sigma_0 = 8.8$。计算得到的$\chi^2$值为 103.31，而卡方分布的临界值为 57.15（下限）和 106.63（上限）。因为卡方值在这个范围内，所以没有足够的证据拒绝原假设$\sigma = 8.8$。

注意: 题干没有给出$\chi^2_{0.025}(80)=57.15$. 但可以推断出它大概率比$\chi^2(80)$的均值 80 要小.

Remark: 《考前一天20个知识点》让同学们前去复习接受域和置信区间的对偶关系, 《考前知识点清单》专门陈述了应如何选择原假设和备择假设.

五、(20分) 现有回归模型$y_i = \beta_0 + \beta_i x_i + \varepsilon_i$.

(1) 写出判定系数$R^2$的表达式并解释含义.

(2) 请画出方差分析表. (表中写出各种量的公式)

(3) 对于给定的第$i$组数据$(x_i,y_i)$, 如何判断它对模型的影响力?

(4) 对于样本$(x_i,y_i)$和$(x_j,y_j)$, 这两点连成的斜率是$a_{ij}$, 其中$i=1,\cdots,n$,$j=1,\cdots,n$, 证明:$\{a_{ij}\}$的某一线性组合是$\beta_1$的最小二乘估?

Solution: (1)$R^2 = \frac{\mathrm{SS}_{\mathrm{reg}}}{\mathrm{SS}_{\mathrm{tot}}} = \frac{\sum (\hat{y}_i-\bar{y})^2}{\sum (y_i -\bar{y})^2 }$, 它指的是回归平方和占总平方和的比重, 表示自变量对因变量随机性的解释比例, 同时也反映了自变量和因变量的线性相关性强弱.

(2) 方差分析表通常包括以下部分：

$\begin{array}{c|c|c|c|c} \hline \text{来源} & \text{平方和} & \text{自由度} & \text{均方} & F\text{统计量} \\ \hline \text{回归} & SSR = \sum (\hat{y}_i - \bar{y})^2&n-1 & MSR = SSR/1 & F = MSR/MSE \\ \text{残差} & SSE = = \sum (y_i - \hat{y}_i)^2 &n-2 & MSE = SSE/(n-2) & \\ \text{总计} & SST = \sum (y_i - \bar{y})^2 & 1 & & \\ \hline \end{array}$

(3) 对于给定的第$i$组数据$(x_i, y_i)$，其对模型的影响力可以通过杠杆值、学生化残差和Cook’s Distance等方法评估。

(i) 杠杆值 (Leverage)

定义：杠杆值反映了数据点相对于所有数据点在“预测空间”中的位置，表明数据点对模型预测的影响程度。

计算公式：
$h_{ii} = \frac{1}{n} + \frac{(x_i - \bar{x})^2}{\sum_{j=1}^n (x_j - \bar{x})^2}$
其中，$h_{ii}$是第$i$个观测值的杠杆值，$x_i$是该观测值，$\bar{x}$是所有观测值$x$的均值。

影响：高杠杆值的数据点可能对回归线的斜率有较大影响，可能导致模型过度适应这些特定点。

(ii) 学生化残差 (Studentized Residuals)

定义：学生化残差是标准化后的残差，用于识别离群值。

计算公式：
$r_i = \frac{y_i - \hat{y}_i}{s \sqrt{1 - h_{ii}}}$
其中，$r_i$是第$i$个数据点的学生化残差，$y_i$是观测值，$\hat{y}_i$是模型预测值，$s$是残差的标准差。

影响：绝对值大的学生化残差表明数据点与模型预测值相差较大，可能指示该点为异常值。

(iii) Cook’s Distance

定义：Cook’s Distance 是一个综合指标，结合了杠杆值和残差大小，用来评估数据点对回归系数估计的整体影响。

计算公式：
$D_i = \frac{\sum_{j=1}^n (\hat{y}_j - \hat{y}_{j(i)})^2}{p \cdot \text{MSE}}$
其中，$D_i$是第$i$个观测值的 Cook’s Distance，$\hat{y}_j$是包含所有观测值的回归预测，$\hat{y}_{j(i)}$是排除第$i$个观测值后的回归预测，$p$是模型参数的数量，$\text{MSE}$是均方误差。

影响：较大的 Cook’s Distance 表明移除或更改该数据点会显著改变回归模型。

(4) 根据$a_{ij}$的定义, 我们有$y_i - y_j = a_{ij} \left(x_i -x_j \right)$, 而$\widehat{\beta}_1 = \frac{l_{xy}}{l_{xx}} = \frac{1}{l_{xx}} \sum_{i=1}^{n} \left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)$, 由于$l_{xx}$已是常数, 只需将$\sum_{i=1}^{n} \left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)$表为$a_{ij}$的线性组合即可. 我们有

$y_i - \bar{y} = \frac{1}{n} \sum_{j=1}^n \left(y_i - y_j\right) = \frac{1}{n} \sum_{j=1}^n \left(x_i - x_j\right)a_{ij},$

因此直接得到

$\widehat{\beta}_1 = \frac{1}{nl_{xx}}\sum_{i=1}^n \sum_{j=1}^n \left(x_i-x_j\right)\left(x_i-\bar{x}\right)a_{ij}.$

六、(10分) 设$U_1, U_2$独立, 且期望都是$0$, 方差是$\sigma^2$, 定义

$X_t = U_1 \sin \left(2\pi \omega_0 t\right) + U_2 \cos \left(2\pi \omega_0 t \right).$

(1) 求$\{X_t\}$的自协方差函数;

(2) 对于自协方差函数$\{g_{k},k\in Z\}$, 如果对任意$n$, 对任意序列$\alpha^{\top} =\left(a_1,a_2\cdots\right)$, 有$\sum_{k=1}^{n}\sum_{j=1}^n a_k a_j g\left(k-j\right) \ge 0$, 则称自协方差函数非负定, 证明: (1) 中的自协方差函数非负定.

(3) 样本自协方差函数是

$\begin{cases} \widehat{\gamma }(h)=\frac{1}{n}\sum_{t=1}^{n-h}{\left( X_{t+h}-\bar{X} \right)}\left( X_t-\bar{X} \right) ,& 0\le h\le n-1.\\ \widehat{\gamma }(h)=\widehat{\gamma }(-h),& n-1\le h<0,\\ \end{cases}$

证明样本自协方差矩阵

$\widehat{\Gamma }_n=\left[ \begin{matrix} \widehat{\gamma }_0& \widehat{\gamma }_1& \cdots& \widehat{\gamma }_{n-1}\\ \widehat{\gamma }_{-1}& \widehat{\gamma }_0& \cdots& \widehat{\gamma }_{n-2}\\ \vdots& \vdots& & \vdots\\ \widehat{\gamma }_{-(n-1)}& \widehat{\gamma }_{-(n-2)}& \cdots& \widehat{\gamma }_0\\ \end{matrix} \right]$

是非负定的.

Solution: (1) 增加一个条件: $\omega_0 \neq 0$. 容易看出$E(X_t)=0$,$\gamma_0 = Var(X_t)=\sigma^2$, 再求自协方差, 利用和差化积, 有

$\begin{aligned} \gamma _{j,k}&=E\left[ X_jX_k \right]\\ &=E\left( U_{1}^{2}\sin \left( 2\pi \omega _0j \right) \sin \left( 2\pi \omega _0k \right) \right) +E\left( U_{2}^{2}\cos \left( 2\pi \omega _0j \right) \cos \left( 2\pi \omega _0k \right) \right)\\ &=\sigma ^2\cos \left( 2\pi \omega _0\left( j-k \right) \right)\\ \end{aligned}$

只和$j-k$有关, 因此$X_t$平稳,$\gamma_{t,t+h}=\gamma_h = \sigma ^2\cos \left( 2\pi \omega _0h\right)$, 其中$h\in Z$, 恰好也包含了$\gamma_0 = Var(X_t)=\sigma^2$.

(2) 这等价于证明: 对任意$n$, 矩阵

$\Gamma _n=\left[ \begin{matrix} \gamma _0& \gamma _1& \cdots& \gamma _{n-1}\\ \gamma _{-1}& \gamma _0& \cdots& \gamma _{n-2}\\ \vdots& \vdots& & \vdots\\ \gamma _{-(n-1)}& \gamma _{-(n-2)}& \cdots& \gamma _0\\ \end{matrix} \right]$

是非负定的. 简单的方法是考虑任意$\alpha_n$, 由于$\Gamma_n$是$\left(X_1,\cdots,X_n\right)$的协方差矩阵, 有

$\alpha _{n}^{\top}\Gamma _n\alpha _n=\sum_{k=1}^n{\sum_{j=1}^n{a_ka_j\gamma \left( k-j \right)}}=\sum_{k=1}^n{\sum_{j=1}^n{a_ka_jCov\left( X_k,X_j \right)}}=Var\left( \sum_{k=1}^n{a_kX_k} \right) \ge 0.$

这和证明普通协方差矩阵非负定并没有什么区别.

上述方法没有用到第 (1) 问求出来的结果, 如果要利用之, 即需证明:$\sum_{k=1}^n{\sum_{j=1}^n{a_ka_j\cos \left( 2\pi \omega _0\left( k-j \right) \right)}}\ge 0$, 利用欧拉公式,

$\sum_{k=1}^n{\sum_{j=1}^n{a_ka_j\cos \left( 2\pi \omega _0\left( k-j \right) \right)}}=\sum_{k=1}^n{\sum_{j=1}^n{a_ka_j\mathcal{R} e\left\{ e^{i2\pi \omega _0\left( k-j \right)} \right\}}}=\mathcal{R} e\left\{ \sum_{k=1}^n{\sum_{j=1}^n{a_ka_je^{i2\pi \omega _0\left( k-j \right)}}} \right\} ,$

其中$\mathcal{R}e\left\{\cdot\right\}$表示取实部. 进一步有

$\begin{aligned} \sum_{k=1}^n{\sum_{j=1}^n{a_ka_je^{i2\pi \omega _0\left( k-j \right)}}}&=\sum_{k=1}^n{\sum_{j=1}^n{a_ka_je^{i2\pi \omega _0k}}e^{-i2\pi \omega _0j}}=\sum_{k=1}^n{\sum_{j=1}^n{a_ka_je^{i2\pi \omega _0k}}\overline{e^{i2\pi \omega _0j}}}\\ &=\left( \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right) \left( \sum_{j=1}^n{a_j\overline{e^{i2\pi \omega _0j}}} \right) =\left( \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right) \left( \sum_{k=1}^n{a_k\overline{e^{i2\pi \omega _0k}}} \right)\\ &=\left( \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right) \overline{\left( \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right) }=\left| \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right|^2, \end{aligned}$

已经只是实数, 因此有

$\sum_{k=1}^n{\sum_{j=1}^n{a_ka_j\cos \left( 2\pi \omega _0\left( k-j \right) \right)}}= \mathcal{R} e\left\{\left| \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right|^2\right\} = \left| \sum_{k=1}^n{a_ke^{i2\pi \omega _0k}} \right|^2 \ge 0.$

(3) 先假设 $X_1,\cdots,X_n$ 并不全相等, 令 $Y_j = X_j - \bar{X}$, 并记

$A_{n\times (2n-1)}=\left( \begin{matrix} 0& \cdots& 0& Y_1& Y_2& \cdots& Y_{n-1}& Y_n\\ 0& \cdots& Y_1& Y_2& Y_3& \cdots& Y_n& 0\\ \vdots& \ddots& \vdots& \vdots& \vdots& \ddots& \vdots& \vdots\\ Y_1& \cdots& Y_{n-1}& Y_n& 0& \cdots& 0& 0\\ \end{matrix} \right) ,$

可以验证, 恰有 $\widehat{\Gamma}_n = \frac{1}{n}AA^{\top}$, 只需验证 $A$ 是行满秩矩阵即可, 这是显然的, 因为只要有一个 $Y_k$ 不是 0, 就会出现非 0 元素在各行不同列出现的情况, 同时我们考虑 $\omega_0 \neq 0$, 因此 $\widehat{\Gamma}_n$ 是正定的.