1. 多元线性回归的本质与核心公式
多元线性回归是单变量线性回归的自然扩展，它允许我们同时考察多个自变量对因变量的影响。在实际应用中，绝大多数问题都涉及多个影响因素，因此多元线性回归成为了数据分析中最常用的工具之一。
假设我们有p个自变量X₁, X₂,..., Xₚ和一个因变量Y，多元线性回归模型可以表示为： Y = β₀ + β₁X₁ + β₂X₂ + ... + βₚXₚ + ε
其中：
- β₀是截距项（当所有自变量为0时Y的值）
- β₁到βₚ是各自变量的回归系数
- ε是误差项，代表模型无法解释的随机变异
这个模型的关键假设包括：
- 线性关系：因变量与自变量之间存在线性关系
- 独立性：观测值之间相互独立
- 同方差性：误差项的方差恒定
- 正态性：误差项服从正态分布
- 无多重共线性：自变量之间没有高度相关性
在实际应用中，完全满足这些假设几乎不可能，但我们需要了解这些假设，以便在模型不理想时知道如何诊断和调整。
2. 数据准备与模型构建
2.1 数据收集与清洗
多元线性回归对数据质量要求较高，在建模前需要进行以下准备工作：
处理缺失值：
- 删除缺失过多的观测（如>30%）
- 对重要变量的缺失值进行合理填补（均值、中位数或预测模型）
异常值检测：
- 箱线图识别单变量异常值
- 马氏距离检测多变量异常值组合
变量转换：
- 对偏态分布变量进行对数转换
- 分类变量转换为哑变量（dummy variables）
变量标准化：
- 当变量量纲差异大时，进行标准化处理（减去均值除以标准差）
2.2 变量选择策略
面对多个潜在自变量时，常用的选择方法包括：
逐步回归（Stepwise Regression）：
- 前向选择：从空模型开始，逐步加入显著变量
- 后向消除：从全模型开始，逐步移除不显著变量
- 双向逐步：结合前两种方法
基于信息准则的方法：
- AIC（赤池信息准则）
- BIC（贝叶斯信息准则）
- 选择使这些指标最小的模型
正则化方法：
- 岭回归（L2正则化）
- Lasso回归（L1正则化）
- 弹性网络（结合L1和L2）
变量选择不仅是技术问题，也需要考虑业务逻辑。有时统计上不显著的变量因业务重要性仍需保留。
3. 模型评估与诊断
3.1 常用评估指标
评估多元线性回归模型的常用指标包括：
R²（决定系数）：
- 解释模型能解释的变异比例
- 取值范围0-1，越大越好
- 但会随变量增加而上升，需谨慎解读
调整R²：
- 对R²进行惩罚，考虑变量数量
- 更适合比较不同变量数的模型
F检验：
- 检验模型整体显著性
- 原假设是所有系数为0
t检验：
- 检验单个系数的显著性
- p值<0.05通常认为显著
均方误差（MSE）：
- 预测值与实际值差异的平方平均
- 越小表示预测越准确
3.2 模型诊断方法
构建模型后，需要进行诊断检查假设是否成立：
残差分析：
- 绘制残差图（残差vs拟合值）
- 理想情况应随机分布在0附近
- 若呈现漏斗形，可能违反同方差性
Q-Q图：
- 检查残差是否服从正态分布
- 点应大致落在对角线上
共线性诊断：
- 计算方差膨胀因子（VIF）
- VIF>10表示严重共线性
- 解决方案：删除变量或使用正则化
影响点检测：
- Cook距离识别高影响力点
- 杠杆值（leverage）检测异常自变量组合
4. 实际应用案例与注意事项
4.1 房价预测案例
假设我们要预测房价，考虑以下变量：
- 面积（平方米）
- 卧室数量
- 房龄（年）
- 是否靠近地铁（0/1）
- 周边学校评分
建模步骤：
- 数据探索：查看各变量分布及关系
- 预处理：对偏态的房龄取对数
- 建模：使用逐步回归选择变量
- 诊断：检查残差图和VIF
- 解释：分析显著变量的系数含义
最终可能得到类似方程： 房价 = 50,000 + 3,000×面积 + 20,000×卧室 - 10,000×ln(房龄) + 15,000×地铁附近 + 5,000×学校评分
4.2 常见问题与解决方案
多重共线性：
- 症状：系数符号与预期相反或值异常大
- 解决：删除相关变量或使用主成分回归
异方差性：
- 症状：残差图呈现漏斗形
- 解决：对因变量进行变换或使用加权最小二乘
非线性关系：
- 症状：残差呈现曲线模式
- 解决：加入多项式项或使用非线性模型
样本量不足：
- 经验法则：每个变量至少需要10-20个观测
- 解决：收集更多数据或使用正则化方法
过拟合：
- 症状：训练集表现好但测试集差
- 解决：交叉验证、简化模型或使用正则化
在实际分析中，我发现很多初学者容易忽视模型诊断环节，直接使用默认结果。这种做法风险很大，可能导致得出错误结论。建议每次建模后至少花30%的时间进行诊断和验证。
