多重共线性
二元回归的空间看法
2026-10-14
多重共线性的理论后果
多重共线性：自变量之间存在高度相关性，导致回归模型中的参数估计变得不稳定和不可靠。
后果1：估计精度大大下降，标准误变大，估计变不精确，置信区间变宽，估计变得不可靠
后果2：t检验倾向于不显著，单个斜率参数的 t 检验容易不显著
后果3：F检验和t检验不一致，但方程的整体显著性 F 检验仍可能显著
后果4：OLS估计对观测样本敏感，换一份样本，拟合平面会更不稳定，OLS估计对观测样本敏感
数值模拟试验目标
给定两个自变量 \(X_1\) 和 \(X_2\)的真实斜率参数都是 0.2。
两个自变量相关程度逐步提高（\(\rho_{(X_1, X_2)}=0.0, 0.9, 0.98\)），最小二乘法仍旧可以得到参数估计，但这四件事会一起出现。
实验结果将会观察到：
- 斜率参数估计量的标准误变大，估计变不精确，置信区间变宽，估计变得不可靠
- 单个斜率参数的 t 检验容易不显著
- 但方程的整体显著性 F 检验仍可能显著
- 换一份样本，拟合平面会更不稳定，OLS估计对观测样本敏感
本交互式教学将展示多重共线性问题的理论后果，并直观地展示相关系数对参数估计的影响。
数值模拟设定
对于一个二元回归总体模型（PRM），我们设定数据生成机制为：
\[ Y_i = 0.2 X_{1i} + 0.2 X_{2i} + u_i, \quad u_i \sim N(0, 7^2) \]
- \((X_1, X_2)\) 来自二元正态分布，均值都是 50，标准差都是 10
- 分别给定三种相关系数情形 \(\rho_{(X_1, X_2)}=0.0, 0.9, 0.98\)，生成 10 份样本
- 每一档相关系数各抽 10 份样本，每份样本的样本量为 \(n = 100\)，并固定随机种子（确保结果可复现
- 根据计算规则，容易得到三档相关系数下的方差膨胀因子简单估计为 \(\mathrm{VIF} = 1/(1-\rho^2)\)，也即分别为1、5.3、25.3。
- 样本回归模型为（SRM）：\(Y_i = \hat\beta_0 + \hat\beta_1 X_{1i} + \hat\beta_2 X_{2i} + e_i\)
不相关情形：二维数据分布（随机散落）
不相关 \(\rho = 0\) 时，\((X_1, X_2)\) 在二维平面下铺成一片
不相关情形：三维分布（数据云朵）
不相关 \(\rho = 0\) 时，\((X_1, X_2)\) 在二维平面下铺成一片； \((X_1, X_2, Y)\) 在三维空间下形成云朵状分布(数据云朵cloud)。
高度相关情形：二维分布（窄直布条）
高度相关 \(\rho = 0.90\) 时，\((X_1, X_2)\) 在二维平面下挤成一条窄直布条；
高度相关情形：三维分布（数据管道）
高度相关 \(\rho = 0.90\) 时，\((X_1, X_2)\) 在二维平面下挤成一条窄直布条； \((X_1, X_2, Y)\) 在三维空间下形成管道状分布(数据管道pipe)。
OLS拟合平面：不相关情形 \(\rho = 0\)
十次斜率仍靠近 0.2，标准误大约 0.07。平面方向稳定。
OLS拟合平面：高度相关情形1 \(\rho = 0.90\)
标准误大约 0.17，VIF 约 5.3。这十次都是斜率 t 不显著，方程的 F 却显著。
OLS拟合平面：高度相关情形2 \(\rho = 0.98\)
标准误大约 0.37，VIF 约 25。其中 8 次斜率变号。换一份样本，平面就换一个方向。
三种情形的斜率参数估计量分布
横轴是 \(\hat\beta_1\)，纵轴是 \(\hat\beta_2\)，星号是真实值 \((0.2, 0.2)\)。
同色的三角、菱形和方框是这一档十次估计的均值 (β1, β2)：ρ = 0 为 (0.192, 0.208)，ρ = 0.90 为 (0.215, 0.176)，ρ = 0.98 为 (0.271, 0.123)。
t 与 F 各出现了几次
每档相关系数 10 份样本。显著都按 5% 水平：斜率看 \(|t|\) 是否达到 1.96，方程看 F 的 p 是否小于 0.05。三列都要求 F 显著，所以一行不一定加总到 10。
| 样本 | 均值 (β1, β2) | 两个 t 都不显著，F 显著 | 只有一个 t 显著，F 显著 | 两个 t 都显著，F 也显著 |
|---|---|---|---|---|
| ρ = 0.00 | 0.192, 0.208 | 0 / 10 | 3 / 10 | 5 / 10 |
| ρ = 0.90 | 0.215, 0.176 | 9 / 10 | 1 / 10 | 0 / 10 |
| ρ = 0.98 | 0.271, 0.123 | 7 / 10 | 3 / 10 | 0 / 10 |
重点看加色的那一列：两个斜率的 t 都不显著，方程的 F 却显著。ρ = 0 时是 0/10 次，ρ = 0.90 时是 9/10 次，ρ = 0.98 时是 7/10 次。相关一高，单个斜率说不清，方程整体仍然显著。
四件事分别落在哪
- 标准误：\(\rho = 0\) 时大约 0.07，\(\rho = 0.98\) 时大约 0.37，大约是五倍，和 \(\sqrt{\mathrm{VIF}}\) 同一个量级
- t 与 F： \((X_1, X_2)\) 相关程度越高，十次里就会反复出现 t 不显著而 F 仍显著
- 样本敏感性：在 \(\rho = 0.98\) 的高度相关情形下，从样本 1 放到样本 10，平面的倾斜方向会急剧变化，拟合平面很不稳定
- 参数估计量稳定性：\(\rho = 0\) 时，估计量的均值聚在真实参数 \((0.2, 0.2)\) （星号）附近；而\(\rho = 0.90\) 时，二者差距扩大；\(\rho = 0.98\) 时，二者距离最大。表明相关程度越高，估计量也会越偏离真值。
参考资料
关于多重共线性视觉化的展示源自Paul Johnson教授的课程资料。我曾在2014年就注意到他的这个富有教学意义的展示，并在此基础上做了部分代码改动。
Paul Johnson曾长期在堪萨斯大学担任政治学教授。后来逐步转型为数据科学家，并在私人企业积极探索新的数据分析领域和技术工具。他的个人主页是https://pj.freefaculty.org/。
Paul E. Johnson的多重共线性视觉化的展示在线资源”Stat Writeups”：Regression/Multicollinearity。
互动练习结束
第10章 放宽经典假设：多重共线性