正态分布的两个统计量
来看这样一个问题：
如果你去搜索答案，会得到这样的做法：
\(\bar{X} \sim N\left( \mu, \frac{\sigma^2}{n} \right)\)，所以 \(X_{n+1} - \bar{X} \sim N\left( 0, \frac{n+1}{n}\sigma^2 \right)\)，所以 \((X_{n+1} - \bar{X})\sqrt{ \frac{n}{n+1} } \sim N(0, 1)\) 而 \((n-1)S^2 \sim \chi^2(n-1)\) 所以原式服从 \(t(n-1)\)
这个答案给人一些困惑：
- 凭什么 \((n-1)S^2 \sim \chi^2(n-1)\)？
- 就算上面是对的，分子里不是涉及到 \(\bar{X}\) 吗？怎么保证分子和分母是独立的？（t分布要求分子分母是独立的）
我们来详细讨论这些问题。
假设我们有 \(n\) 个独立同分布的正态样本：
\[ X_1, X_2, \dots, X_n \sim N(\mu, \sigma^2) \]
其中：
- \(\mu\) 是总体均值
- \(\sigma^2\) 是总体方差
- 样本均值为：
\[ \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \]
- 样本方差为（无偏）：
\[ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \]
我们把 \(X\) 标准化（期望为 0，方差为 1）：
\[ Z_i = \frac{X_i - \mu}{\sigma} \]
因为 \(X_i \sim N(\mu, \sigma^2)\)，所以：
- \(\bar{X} = \mu + \sigma \cdot \bar{Z}\)
- \(\bar{Z} = \frac{1}{n} \sum_{i=1}^n Z_i\)
把 \(S^2\) 的表达式全部换成 \(Z\)，得到：
\[ \begin{aligned} \frac{(n-1)S^2}{\sigma^2} &= \sum_{i=1}^n(Z_{i} - \bar{Z})^2 \\ &= \left( \sum_{i=1}^n Z_{i}^2 \right) - n\bar{Z}^2 \end{aligned} \]
我们发现，右边的式子实际是 \(Z_{i}\) 的一个二次型。记 \(\mathbf{z} = (Z_{1},Z_{2},\dots,Z_{n})\)，则：
\[ \frac{(n-1)S^2}{\sigma^2} = \mathbf{z}^\text{T}\left( I - \frac{1}{n}A \right)\mathbf{z} \]
其中 \(A\) 是全 1 矩阵。对 \(I - \frac{A}{n}\) 特征值分解，得到：
- 一个特征值为0，特征向量为 \(\mathbf{1} = (1,1,\dots,1)^\text{T}\)
- 其他特征值为1，特征向量可以是任意满足 \(\sum x_{i}=0\) 的向量。
因为 \(I - \frac{A}{n}\) 是实对称矩阵，正交的特征向量必然存在。那么，0 特征值的特征向量取为 \(u=\frac{1}{\sqrt{ n }}(1,1,\dots,1)^\text{T}\)，而 1 的正交特征向量设为 \(\mathbf{v}_{1},\dots,\mathbf{v}_{n-1}\)。\(I - \frac{1}{n}A\) 特征值分解如下：
\[ \begin{aligned} I - \frac{1}{n}A &= P\Lambda P^\text{T} \\ &= \begin{bmatrix} \mathbf{u} &\mathbf{v}_{1} & \dots & \mathbf{v_{n-1}} \end{bmatrix}\text{diag}([0,1,1,\dots,1])\begin{bmatrix} \mathbf{u}^\text{T} \\ \mathbf{v_{1}}^\text{T} \\ \dots \\ \mathbf{v_{n-1}}^\text{T} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{v}_{1} & \mathbf{v}_{2} & \dots & \mathbf{v_{n-1}} \end{bmatrix}\begin{bmatrix} \mathbf{v_{1}}^\text{T} \\ \mathbf{v_{2}}^\text{T} \\ \dots \\ \mathbf{v_{n-1}}^\text{T} \end{bmatrix} \\ &= VV^\text{T} \end{aligned} \]
所以：
\[ \frac{(n-1)S^2}{\sigma^2} = \mathbf{z}^\text{T}VV^\text{T}\mathbf{z} = \lVert V^\text{T}\mathbf{z} \rVert^2 \]
而又有：
\[ \frac{\bar{X} - \mu}{\sigma} = \frac{1}{n}\sum_{i=1}^nZ_{i} = \sqrt{ n }\mathbf{u}^\text{T}\mathbf{z} \]
所以 \(S^2\) 是 \(V^\text{T}\mathbf{z}\) 的函数，而 \(\bar{X}\) 是 \(\mathbf{u}^\text{T}\mathbf{z}\) 的函数。只要 \(V^\text{T}\mathbf{z}\) 和 \(\mathbf{u}^\text{T}\mathbf{z}\) 是独立的，\(S^2\) 和 \(\bar{X}\) 也就是独立的。
结合我们关于多元正态分布的分析：
\(\mathbf{z}\) 遵循协方差矩阵为 \(I\) 的多元正态分布，所以 \(P^\text{T}\mathbf z\) 遵循协方差矩阵为 \(PP^\text{T}\) 的多元正态分布，但是 \(PP^\text{T}=I\)。也就是说，\(P^\text{T}\mathbf{z}\) 的各个分量仍然是独立的。特别地，第一个分量 \(\mathbf{u}^\text{T}\mathbf{z}\) 和后 \(n-1\) 个分量 \(V^\text{T}\mathbf{z}\) 是独立的。
证明完毕，\(S^2\) 和 \(\bar{X}\) 确实是独立的。
而且更进一步地，\(V^\text{T}\mathbf{z}\) 既然是 \(P^\text{T}\mathbf{z}\) 的后 \(n-1\) 个分量，而 \(P^\text{T}\mathbf{z}\) 遵循互相独立的 \(n\) 维标准正态分布，则 \(V^\text{T}\mathbf{z}\) 遵循互相独立的 \(n-1\) 维标准正态分布。
所以，\(\lVert V^\text{T}\mathbf{z} \rVert^2\) 是 \(n-1\) 个分量的平方和，则 \(\frac{n-1}{\sigma^2}S^2 \sim \chi^2(n-1)\)。
两个疑问解答完毕，最开始的问题也得到了解决。