1. 为什么 Logistic 回归值得单独整理一篇笔记

1.1 从“分类”这个需求说起

很多人学机器学习，第一个接触的算法是线性回归，第二个就是 Logistic 回归。线性回归解决的是“预测一个数值”的问题，比如根据面积预测房价、根据温度预测销量。但现实里大量问题不是预测数值，而是判断“属于哪一类”：这封邮件是不是垃圾邮件、这个用户会不会点击广告、这笔交易是不是欺诈、这个病人检查指标提示良性还是恶性。

这些问题的共同点是：输出只有有限的几个类别，最常见的就是“是/否”两类。你当然可以硬用线性回归去拟合一个 0/1 标签，但会立刻遇到两个尴尬：第一，预测值可能跑到 0 以下或 1 以上，没法解释成概率；第二，对异常点极其敏感，一个远离决策边界的样本就能把整条直线拽偏。Logistic 回归就是为解决这两个问题而生的——它在线性组合的基础上套了一个 Sigmoid 函数，把输出压缩到 (0,1) 区间，天然具备概率含义。

我整理这篇笔记的初衷，是因为发现身边不少朋友对 Logistic 回归的理解停留在“调个库、fit 一下、看准确率”的层面，一旦遇到损失函数推导、梯度更新、正则化选择、类别不平衡就卡壳。而它恰恰是面试和实战中出现频率最高的算法之一，值得把每个细节都抠清楚。

1.2 这篇笔记适合谁看

如果你正在跟着《机器学习实战》这类偏实战的书或课程学习，已经写过几行 Python，但对“为什么这么写”还不太有底，这篇内容会很适合你。我会从数学原理讲到代码实现，再讲到实际调参和踩坑，尽量做到每一步都能解释清楚“为什么这么做”。

如果你已经用过 sklearn 的LogisticRegression，但只会调C参数、不清楚penalty和solver之间怎么搭配，这篇也能帮你把知识补全。整篇笔记不假设你有很深的数学背景，涉及公式的地方我会尽量用生活化的类比讲明白，同时保留必要的推导，方便你真正理解而不是死记。

提示：Logistic 回归虽然名字里带“回归”，但它解决的是分类问题。这个名字来源于它用的是回归的思路去建模分类的概率，别被名字误导。

2. 核心原理拆解：从线性组合到概率输出

2.1 Sigmoid 函数到底做了什么

Logistic 回归的第一步和线性回归一样，先算一个线性组合：

z = w·x + b

其中 x 是特征向量，w 是权重，b 是偏置。这个 z 的取值范围是负无穷到正无穷。问题来了，我们要的是 0 到 1 之间的概率，怎么把 z 映射过去？答案就是 Sigmoid 函数：

σ(z) = 1 / (1 + e^(-z))

这个函数的形状是一条平滑的 S 形曲线。当 z 趋近正无穷时，σ(z) 趋近 1；当 z 趋近负无穷时，σ(z) 趋近 0；当 z = 0 时，σ(z) = 0.5。它把整个实数轴优雅地压缩到了 (0,1) 区间。

我习惯用一个类比来记它：把 z 想象成“证据的强度”。证据越强（z 越大），事件发生的概率越接近 1；证据越弱甚至反向（z 越小），概率越接近 0；证据刚好抵消（z = 0），概率就是一半一半。这个解释在向别人讲 Logistic 回归时特别好用。

Sigmoid 还有一个非常漂亮的性质，是后面推导梯度时反复用到的：

σ'(z) = σ(z) · (1 - σ(z))

也就是说，Sigmoid 的导数可以用它自身的值直接算出来，不需要重新做指数运算。这个性质让梯度下降的推导变得非常干净，也是它被选为激活函数的重要原因之一。

2.2 为什么用最大似然而不是最小二乘

线性回归用最小二乘（残差平方和）作为损失函数，那 Logistic 回归能不能也用它？理论上可以，但实践上很糟糕。原因在于：把 Sigmoid 套进平方损失后，损失函数会变成非凸的，存在多个局部极小值，梯度下降很容易陷进去。

Logistic 回归采用的是最大似然估计的思路。对每个样本，我们假设它的标签 y 服从一个伯努利分布，取 1 的概率是 σ(z)，取 0 的概率是 1 - σ(z)。把这两件事写成一个式子：

P(y|x) = σ(z)^y · (1 - σ(z))^(1-y)

当 y = 1 时，右边变成 σ(z)；当 y = 0 时，右边变成 1 - σ(z)。这个写法很巧妙，用一个公式同时覆盖了两种情况。

接下来对所有样本的似然函数取对数（把连乘变成连加，方便求导），得到对数似然：

L(w) = Σ [ y·log(σ(z)) + (1-y)·log(1-σ(z)) ]

我们要最大化这个对数似然。习惯上把它取负号，变成最小化问题，就得到了交叉熵损失（也叫对数损失）：

J(w) = -Σ [ y·log(σ(z)) + (1-y)·log(1-σ(z)) ]

这个损失函数是凸的，梯度下降能稳定收敛到全局最优。这就是为什么 Logistic 回归用交叉熵而不是平方损失——凸性保证了优化的可靠性。

2.3 梯度推导：为什么更新公式这么简洁

对 J(w) 关于 w 求偏导，利用前面说的 Sigmoid 导数性质，最终会得到一个非常简洁的结果：

∂J/∂w = Σ (σ(z) - y) · x

用向量形式写就是：

∇J = X^T · (σ(Xw) - y)

这个结果的含义很直观：梯度等于“预测概率减去真实标签”再乘上特征。如果预测值比真实值大（比如预测 0.8 但真实是 0），梯度就是正的，权重会往减小的方向更新；反之亦然。预测越离谱，梯度越大，更新幅度越大。这就是梯度下降能自动“纠偏”的原理。

权重更新规则就是：

w := w - α · ∇J

其中 α 是学习率。整个训练过程就是反复算梯度、更新权重，直到损失收敛或达到迭代次数上限。

注意：推导过程中最容易出错的地方是忘记对 z 求导时链式法则的那一步。建议自己动手推一遍，比看十遍都管用。

3. 代码实现：从零手写到调库

3.1 用 NumPy 手写一个完整版本

理解原理最好的方式是自己实现一遍。下面这个版本包含了 Sigmoid、损失计算和梯度下降，代码不长但五脏俱全。

import numpy as np def sigmoid(z): # 防止 exp 溢出，对 z 做截断 z = np.clip(z, -500, 500) return 1.0 / (1.0 + np.exp(-z)) def train_logistic(X, y, lr=0.1, epochs=1000, tol=1e-6): m, n = X.shape w = np.zeros(n) b = 0.0 prev_loss = float('inf') for i in range(epochs): z = X.dot(w) + b y_hat = sigmoid(z) # 交叉熵损失 loss = -np.mean(y * np.log(y_hat + 1e-12) + (1 - y) * np.log(1 - y_hat + 1e-12)) # 梯度 error = y_hat - y dw = X.T.dot(error) / m db = np.mean(error) # 更新 w -= lr * dw b -= lr * db # 收敛判断 if abs(prev_loss - loss) < tol: break prev_loss = loss return w, b

这段代码有几个细节值得说。第一，np.clip是为了防止 z 太大时np.exp(-z)溢出，虽然理论上 Sigmoid 不会溢出，但浮点数运算在极端值下会出问题。第二，计算 log 时加了1e-12防止 log(0) 变成负无穷。第三，梯度里除以 m 是做平均，这样学习率不会随样本量变化而需要重新调整。

3.2 手写版和 sklearn 的对比

手写版适合理解原理，但实际项目里没人会真的手写。sklearn 的LogisticRegression在数值稳定性、优化算法、正则化支持上都成熟得多。下面是一个典型用法：

from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 标准化是必须的 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) X_train, X_test, y_train, y_test = train_test_split( X_scaled, y, test_size=0.2, random_state=42, stratify=y) clf = LogisticRegression( penalty='l2', C=1.0, solver='lbfgs', max_iter=1000, class_weight='balanced' ) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) print(classification_report(y_test, y_pred))

我实测下来，手写版在简单数据集上能跑出和 sklearn 接近的结果，但在特征尺度差异大、样本量大的情况下，手写版收敛慢甚至不收敛，这时候 sklearn 的优势就体现出来了。所以我的建议是：手写版用来学习和调试理解，生产环境一律用成熟库。

3.3 特征标准化为什么不能省

Logistic 回归对特征尺度非常敏感，这一点比线性回归还严重。原因在于梯度下降的收敛速度取决于损失函数的“地形”。如果某个特征取值范围是 0 到 10000，另一个是 0 到 1，那么损失函数在不同方向上的曲率差异巨大，梯度下降会像在一个狭长的山谷里来回震荡，收敛极慢。

标准化的做法是让每个特征均值为 0、方差为 1：

x' = (x - μ) / σ

这样所有特征处在同一量级，损失函数的等高线接近圆形，梯度下降能直奔最优解。我踩过的坑是：有一次忘了标准化，模型跑了 5000 次迭代还没收敛，加上标准化后 200 次就收敛了，效果提升非常明显。

提示：标准化要用训练集的均值和方差去变换测试集，不能各自标准化，否则会造成数据泄露。sklearn 的StandardScaler在fit时记录训练集参数，transform时应用到测试集，这个流程要严格遵守。

4. 正则化、求解器与关键参数实战

4.1 L1 和 L2 正则化怎么选

Logistic 回归很容易过拟合，尤其是特征多、样本少的时候。正则化就是给损失函数加一个惩罚项，限制权重不要太大。

L2 正则化（岭回归思路）加的是权重平方和，会让权重整体变小但不会变成 0，适合特征都有用、只想抑制过拟合的场景。L1 正则化（Lasso 思路）加的是权重绝对值之和，会把不重要的特征权重直接压到 0，天然具备特征选择能力，适合高维稀疏数据。

sklearn 里通过penalty参数控制，C参数是正则化强度的倒数——C 越小，正则化越强。这个反直觉的设定经常让人搞混，记住一句话：C 小 = 惩罚大 = 模型简单。

4.2 solver 的选择逻辑

solver是优化算法，不同 solver 支持的 penalty 和适用规模不同。这是新手最容易配错的地方。

• liblinear：小数据集，支持 L1 和 L2，坐标下降法，稳定但慢。
• lbfgs：默认选项，支持 L2 和无正则，拟牛顿法，中等规模数据表现好。
• newton-cg、newton-cholesky：支持 L2，适合样本量中等、特征数不大的情况。
• sag、saga：随机平均梯度，适合大数据集。saga 还支持 L1 和 elasticnet，是唯一全支持的。

我的一般选择顺序是：数据量小用 liblinear，中等用 lbfgs，大且需要 L1 用 saga。配错了 sklearn 会直接报错，比如用 lbfgs 配 L1 会提示不支持，这时候换 solver 就行。

4.3 类别不平衡的处理

现实数据里正负样本往往不均衡，比如欺诈检测可能 99% 是正常交易。这时候模型会倾向于全预测成多数类，准确率看着很高但毫无意义。

处理方式有几种。最简单的是设class_weight='balanced'，让 sklearn 自动按类别频率反比给权重。也可以手动传字典，比如{0: 1, 1: 10}表示少数类权重是多数类的 10 倍。更彻底的做法是重采样，对少数类过采样或对多数类欠采样，但这会改变数据分布，要谨慎。

我个人的经验是：先试class_weight='balanced'，如果效果不够再考虑重采样。评估指标也要换，别只看准确率，重点看召回率、F1 和 AUC。

5. 常见问题与排查技巧实录

5.1 模型不收敛怎么办

这是最高频的问题，报错通常是“lbfgs failed to converge”或者“max_iter reached”。排查顺序如下：

第一，检查是否标准化。这是最常见的原因，八成的不收敛都是没标准化导致的。第二，增大max_iter，默认 100 次对复杂数据不够，调到 1000 或 2000。第三，换 solver，lbfgs 不收敛可以试 saga 或 liblinear。第四，检查特征是否有共线性，高度相关的特征会让优化变得困难，考虑删掉或做 PCA。第五，检查是否有常数特征或全零列，这些对模型没贡献还会干扰优化。

5.2 准确率高但业务效果差

这种情况通常是类别不平衡或评估指标选错了。比如一个 95% 负样本的数据集，全预测负类就有 95% 准确率，但正类一个都没抓到。解决办法是看混淆矩阵，关注少数类的召回率。如果召回率低，调class_weight或降低分类阈值（默认 0.5，可以调到 0.3 让更多样本被判为正类）。

5.3 特征系数怎么解读

Logistic 回归的一大优势是可解释性强。系数 w 的符号表示特征对正类概率的影响方向，正值表示增大该特征会提高正类概率。但系数的大小不能直接比较，因为受特征尺度影响。要比较重要性，得先标准化特征，或者看exp(w)即优势比（odds ratio）。

优势比的含义是：特征每增加一个单位，正类发生的优势（odds）变成原来的多少倍。比如 exp(w) = 1.5，说明该特征增加一单位，正类优势增加 50%。这个解释在风控、医疗等需要向业务方解释的场景里特别有用。

5.4 几个容易被忽略的细节

第一，predict_proba返回的是概率，predict是按 0.5 阈值切出来的类别，业务上如果需要自定义阈值，要用predict_proba自己切。第二，多分类时 sklearn 默认用 one-vs-rest，也可以设multi_class='multinomial'用 softmax，后者在类别互斥时效果更好。第三，随机种子要固定，否则每次跑结果不一样，没法复现。

我在实际项目里踩过最深的一个坑是：用predict的准确率去调参，调了半天发现业务真正关心的是 top 10% 预测的精确率。后来改成用predict_proba排序取 top K 来评估，模型选型才走上正轨。所以评估指标一定要和业务目标对齐，别被默认指标带偏。

最后分享一个小技巧：Logistic 回归虽然简单，但作为基线模型非常称职。任何新项目我都会先跑一个 Logistic 回归，看它能达到什么水平，再决定要不要上复杂模型。如果简单模型就能满足需求，何必用深度学习呢。这个习惯帮我省下了大量不必要的算力和调试时间。