1. 从一张手写数字图说起：为什么我们要回头啃这些“老网络”

很多人入门深度学习，第一反应是直接冲去跑最新的视觉大模型，结果卡在环境、显存、数据管道上，连一个能收敛的demo都跑不出来。我见过太多这样的情况：一上来就想做检测、做分割，最后连最基本的分类网络长什么样、每一层在干什么都说不清楚。其实真正让你后面少踩坑的，恰恰是这几个看起来“过时”的经典卷积网络——LeNet-5、AlexNet、GoogLeNet、VGGNet、BNInception、Inceptionv3。它们不是古董，而是卷积神经网络设计思路的活化石，每一个都对应着一次关键的技术跃迁。

这篇文章面向的是刚接触CNN、想系统理解卷积网络演进脉络的人，也适合已经会调库但说不清“为什么这样设计”的开发者。我会把这六个网络拆开，讲清楚它们各自解决了什么问题、核心结构长什么样、关键参数怎么算、动手复现时要注意什么。读完你至少能做到两件事：第一，看到任何一个现代骨干网络，能大致判断它的设计血统；第二，自己动手搭一个能跑通的经典网络，而不是只会import。

先说清楚一个前提：这六个网络不是并列关系，而是有明确的时间线和继承关系。LeNet-5是开山鼻祖，证明了卷积+池化+全连接这套组合能干活；AlexNet把它放大并搬上GPU，引爆了深度学习；VGGNet用“堆叠小卷积核”的思路把深度做上去，结构极其规整；GoogLeNet用Inception模块在宽度上做文章，同时把参数量压下来；BNInception引入批归一化，解决训练不稳定；Inceptionv3则是对Inception系列的一次系统性优化，用卷积分解进一步降本增效。理解这条线，比孤立地背每个网络的结构有用得多。

下面我按“设计思路—核心结构—参数计算—实操要点—常见坑”这个节奏，逐个拆解。每个网络我都会给出可复现的结构描述和关键参数，代码用PyTorch风格示意，方便你直接抄改。

2. LeNet-5：卷积网络的最小可用原型

2.1 它到底解决了什么问题

LeNet-5诞生于上世纪90年代，目标非常具体：识别手写数字。当时的背景是，传统方法需要人工设计特征，换一个任务就得重新设计一套特征，成本极高。LeNet-5的价值在于，它第一次比较完整地证明了：卷积层可以自动提取局部特征，池化层可以降低空间维度并带来一定平移不变性，最后用全连接层做分类，整套流程可以端到端训练。这个“端到端”三个字，是它最核心的贡献。

它的输入是32×32的灰度图，注意不是28×28。为什么是32？因为MNIST原始数字是28×28，但LeNet-5的设计者特意做了padding，让边缘信息也能被卷积核覆盖到。这个细节很多人忽略，但它体现了卷积网络设计里一个很重要的意识：边缘像素不是垃圾，padding是有意义的。

2.2 逐层结构与参数计算

LeNet-5的结构可以概括为：输入32×32 → C1卷积 → S2池化 → C3卷积 → S4池化 → C5卷积 → F6全连接 → 输出层。我用现代的说法重新描述一遍，方便你对照代码。

C1层：6个5×5卷积核，步长1，无padding。输入32×32，输出尺寸是(32-5+1)=28，所以得到6个28×28的特征图。参数量是6×(5×5×1+1)=156，这里+1是偏置。

S2层：平均池化，窗口2×2，步长2。输出6个14×14。注意LeNet-5用的是平均池化，不是最大池化，这是那个时代的习惯。池化层没有可训练参数。

C3层：16个5×5卷积核。输入是6个14×14，输出是(14-5+1)=10，得到16个10×10。这里有个经典细节：C3并不是把6个输入通道全连接到每个输出通道，而是有选择地连接，目的是减少参数量并打破对称性。现代实现通常简化成全连接，参数量是16×(5×5×6+1)=2416。如果严格按原始论文的选择性连接，参数会少一些，但实际复现时全连接也能work。

S4层：平均池化2×2，输出16个5×5。

C5层：120个5×5卷积核，输入16个5×5，输出正好是1×1，得到120个1×1。这一层本质上等价于全连接，但用卷积形式表达。参数量120×(5×5×16+1)=48120。

F6层：84个神经元，全连接到C5的120个输出。参数量84×(120+1)=10164。为什么是84？因为原始论文用的是7×12的位图编码，这个数字有历史原因，现代实现随便设成多少都行。

输出层：10个神经元，对应0-9。

2.3 实操要点与踩坑记录

用PyTorch复现LeNet-5，最容易踩的坑是输入尺寸。如果你直接用MNIST的28×28，第一层卷积后是24×24，后面尺寸会连锁变化，最后C5层就不是1×1了。所以要么把输入resize到32×32，要么调整网络结构。我建议新手老老实实resize到32×32，保持和原始论文一致，这样你能直观看到每一层的尺寸变化。

第二个坑是池化方式。现代代码里大家习惯用MaxPool，但LeNet-5原始用的是平均池化。实测下来，在手写数字这种简单任务上，两者差别不大，但如果你想严格复现，就用AvgPool。我个人的做法是：学习阶段用AvgPool理解原始设计，实际项目里用MaxPool，因为后者在复杂任务上通常更稳。

第三个坑是激活函数。原始LeNet-5用的是tanh或sigmoid，现代实现基本都换成ReLU。换ReLU之后收敛更快，但要注意学习率别设太大，否则容易在早期就出现大量神经元死亡。我一般初始学习率设1e-3，配合Adam，跑MNIST几分钟就能到99%以上。

提示：LeNet-5的参数量只有约6万，放在今天微不足道，但它是理解“卷积核共享权重”这个概念的最佳样本。你可以手动算一遍每一层的参数量，算完你对卷积的理解会扎实很多。

3. AlexNet：把卷积网络真正推上舞台的那一脚

3.1 设计思路的跃迁

AlexNet和LeNet-5在结构上其实是同一套思路的放大版，但它的历史意义在于：第一次证明了深度卷积网络在大规模数据上能大幅超越传统方法。2012年的那场比赛，它把top-5错误率从26%左右直接拉到15%出头，这个差距不是调参能解释的，而是架构+数据+算力三者结合的结果。

它的几个关键设计选择，放到今天看依然有参考价值。第一，用ReLU替代sigmoid，解决了深层网络的梯度消失问题，训练速度提升数倍。第二，用Dropout抑制过拟合，这在当时是很新的做法。第三，用数据增强（随机裁剪、翻转、颜色扰动）扩充训练集。第四，用GPU并行训练，把训练时间从 weeks 压到 days。第五，重叠池化，也就是池化窗口步长小于窗口尺寸，这样能保留更多信息，略微提升精度。

3.2 结构拆解与参数规模

AlexNet输入是224×224×3的彩色图。整体结构是5个卷积层+3个全连接层。我按层说清楚。

第一层：11×11卷积核，步长4，96个输出通道。输出尺寸(224-11)/4+1=54，得到96个54×54。参数量96×(11×11×3+1)=34944。这一层后面接ReLU，再接3×3最大池化，步长2，输出96个26×26。

第二层：5×5卷积核，256个输出通道，padding=2。输出尺寸(26+2×2-5)/1+1=26，得到256个26×26。参数量256×(5×5×96+1)=614656。后面接3×3最大池化，步长2，输出256个12×12。

第三层：3×3卷积核，384个输出通道，padding=1。输出384个12×12。参数量384×(3×3×256+1)=884992。

第四层：3×3卷积核，384个输出通道，padding=1。输出384个12×12。参数量384×(3×3×384+1)=1327488。

第五层：3×3卷积核，256个输出通道，padding=1。输出256个12×12。参数量256×(3×3×384+1)=884992。后面接3×3最大池化，步长2，输出256个5×5。

然后是三个全连接层。第一个全连接把256×5×5=6400维映射到4096维，参数量6400×4096+4096≈2622万。第二个全连接4096到4096，参数量约1678万。第三个全连接4096到1000，参数量约410万。整个网络参数量约6000万，其中绝大部分集中在全连接层。

3.3 实操中的关键细节

复现AlexNet时，第一个要注意的是输入尺寸。原始论文用的是224×224，但如果你按上面的公式算，第一层卷积后是54×54，池化后是26×26，这个链条是自洽的。但有些实现会用227×227，原因是当年论文里写的224其实有点模糊，后来大家发现227能让尺寸算得更整齐。我建议你用224，然后自己算一遍每一层，确保尺寸对得上。

第二个细节是分组卷积。原始AlexNet因为当年GPU显存不够，把网络拆成两组并行训练，所以卷积层是分组卷积。现代实现基本都不分组了，因为显存足够。但如果你想严格复现，可以在卷积层加groups=2。实测下来，分组和不分组在精度上差别很小，但分组会稍微减少参数量和计算量。

第三个细节是LRN，也就是局部响应归一化。原始论文用了LRN，但后来大家发现它作用不大，BN出来之后基本被取代。所以现代实现通常直接跳过LRN。我的建议是：学习阶段可以加上，理解它的思路；实际项目里直接用BN，效果更好也更稳定。

第四个细节是Dropout。原始论文在全连接层用了Dropout，比例0.5。这个比例在当年是经验值，现在看依然合理。如果你发现模型过拟合严重，可以把比例调到0.6或0.7；如果欠拟合，就降到0.3或0.4。

注意：AlexNet的全连接层参数量巨大，如果你在小数据集上训练，很容易过拟合。一个实用的做法是冻结前面的卷积层，只训练全连接层，或者用更小的全连接维度（比如把4096改成1024）。

4. VGGNet：用“堆小核”把深度做上去

4.1 核心设计哲学

VGGNet的核心思想非常朴素：用连续的3×3小卷积核替代大卷积核，通过增加深度来提升表达能力。为什么是3×3？因为两个3×3卷积堆叠的感受野等于一个5×5，三个3×3堆叠等于一个7×7。但堆叠小核有两个好处：第一，参数量更少。假设输入输出通道都是C，一个7×7卷积的参数量是49C²，而三个3×3堆叠是3×9C²=27C²，少了将近一半。第二，非线性更强。每次卷积后面都接ReLU，三个3×3就有三次非线性变换，而一个7×7只有一次。这意味着同样的感受野下，堆叠小核能学到更复杂的特征。

VGGNet的结构极其规整，整个网络就是“卷积-卷积-池化”重复堆叠，最后接三个全连接层。这种规整性让它的代码非常好写，也非常好改。你几乎可以把VGG当成一个模板，改改层数就能变成自己的网络。

4.2 两种主流配置与参数对比

VGGNet最常用的是VGG16和VGG19，数字代表带权重的层数。我以VGG16为例拆解。

VGG16包含13个卷积层和3个全连接层。卷积层全部用3×3卷积核，步长1，padding=1，这样卷积后尺寸不变。池化层全部用2×2最大池化，步长2，每次池化尺寸减半。通道数从64开始，每经过一次池化翻倍：64→128→256→512→512。

具体来说：输入224×224×3。第一段两个3×3卷积，64通道，输出224×224×64，然后池化到112×112×64。第二段两个3×3卷积，128通道，输出112×112×128，池化到56×56×128。第三段三个3×3卷积，256通道，输出56×56×256，池化到28×28×256。第四段三个3×3卷积，512通道，输出28×28×512，池化到14×14×512。第五段三个3×3卷积，512通道，输出14×14×512，池化到7×7×512。然后展平成7×7×512=25088维，接两个4096维全连接，最后接1000维输出。

参数量方面，卷积层总参数约1470万，全连接层约1.24亿，总计约1.38亿。可以看到，VGG的参数量比AlexNet还大，而且绝大部分还是在全连接层。这也是VGG后来被诟病的地方：参数量大、计算量大、显存占用高。

4.3 实操建议与常见误区

第一个误区是盲目堆深度。VGG19比VGG16多了三个卷积层，但精度提升有限，计算量却增加不少。如果你资源有限，VGG16是更务实的选择。我个人的经验是：在小数据集上，VGG16和VGG19的差距基本在1%以内，但训练时间差20%以上。

第二个误区是忽略全连接层的显存占用。VGG16的第一个全连接层有25088×4096≈1亿参数，这一层就占了约400MB显存（float32）。如果你显存不够，可以把全连接层改成全局平均池化，这样参数量直接降到零，精度损失通常在1-2个百分点。这个技巧在现代网络里很常见，但在VGG上同样适用。

第三个细节是预训练权重的使用。VGG16在ImageNet上的预训练权重非常通用，很多迁移学习任务直接拿它当特征提取器。我的做法是：冻结前面的卷积层，只训练最后几层，这样在小数据集上也能快速收敛。如果你要微调整个网络，学习率一定要设小，比如1e-4，否则预训练权重会被破坏。

提示：VGG的结构规整性让它成为学习“如何设计网络”的最佳样本。你可以试着把VGG16的卷积层数改成10层或20层，观察精度和训练时间的变化，这个实验能帮你建立对“深度”的直觉。

5. GoogLeNet与Inception模块：在宽度上做文章

5.1 Inception的核心动机

VGG的思路是往深里堆，但深度堆到一定程度会遇到两个问题：第一，参数量爆炸；第二，梯度消失和过拟合风险增加。GoogLeNet换了个思路：与其一味加深，不如在同一层里用不同尺寸的卷积核并行提取特征，然后把结果拼接起来。这就是Inception模块的基本思想。

为什么多尺度并行有用？因为图像中的目标大小不一，有的特征适合用3×3卷积提取，有的适合5×5，有的适合1×1。与其让网络自己学该用哪个尺寸，不如把多个尺寸都放进去，让网络自己选择。这种“多分支”设计后来被证明非常有效，也影响了后续很多网络。

5.2 Inception模块的演进

最初的Inception模块（GoogLeNet版本）包含四个分支：1×1卷积、3×3卷积、5×5卷积、3×3最大池化。每个分支后面都接ReLU，最后在通道维度拼接。但这样有个问题：5×5卷积的参数量很大。所以GoogLeNet在3×3和5×5卷积前面加了1×1卷积做降维，这就是所谓的“瓶颈”结构。

举个例子：假设输入是256通道，直接做5×5卷积输出64通道，参数量是64×(5×5×256+1)=409664。如果先用1×1卷积把256降到64，再做5×5卷积输出64，参数量是64×(1×1×256+1)+64×(5×5×64+1)=16448+102464=118912，少了将近70%。这个降维操作是Inception模块能控制参数量的关键。

GoogLeNet整体由多个Inception模块堆叠而成，中间还加了两个辅助分类器，用来缓解梯度消失。辅助分类器在训练时参与损失计算，推理时丢弃。这个设计在当时很新颖，现在看其实就是一种深度监督。

5.3 BNInception：把批归一化加进来

BNInception不是原始论文里的名字，而是社区对“Inception + Batch Normalization”这个组合的称呼。它的核心改动是在每个卷积层后面、激活函数前面加BN层。BN的作用是对每个mini-batch的激活值做归一化，让分布更稳定，从而允许更大的学习率和更快的收敛。

为什么BN这么重要？在BN之前，训练深层网络需要非常小心地调学习率、初始化权重，否则很容易梯度爆炸或消失。BN之后，这些超参数的敏感度大幅降低，训练稳定性显著提升。我实测过：同样的Inception结构，加BN之后收敛速度快2-3倍，最终精度也能提升1-2个百分点。

BNInception的具体结构是在GoogLeNet的基础上，把Inception模块里的卷积层都加上BN。另外，BNInception通常会把辅助分类器去掉，因为BN已经足够稳定，不需要额外的深度监督。这个版本在实际项目中用得很多，因为它在精度和速度之间取得了很好的平衡。

5.4 Inceptionv3：卷积分解的极致优化

Inceptionv3是对Inception系列的第三次系统性改进，核心思路是“卷积分解”。具体来说，它做了几件事。

第一，把5×5卷积分解成两个3×3卷积。这和VGG的思路一致，但Inceptionv3是在Inception模块内部做的。两个3×3堆叠的感受野等于5×5，但参数量更少，非线性更强。

第二，把3×3卷积进一步分解成1×3和3×1的非对称卷积。一个3×3卷积可以看成先做1×3再做3×1，参数量从9降到6，计算量也减少。这个分解在理论上会损失一些表达能力，但实测下来精度几乎不降，速度提升明显。

第三，优化了模块内部的通道数分配。Inceptionv3通过大量实验，找到了一组比较优的通道配置，让每个分支的计算量更均衡。

第四，用了标签平滑。这个技巧在训练时把硬标签（0或1）变成软标签（比如0.1和0.9），能抑制过拟合，提升泛化能力。标签平滑现在已经是训练分类网络的标准操作了。

Inceptionv3的整体结构比GoogLeNet更深，但参数量控制在约2400万，比VGG16的1.38亿少了一个数量级。这就是Inception系列的核心竞争力：用更少的参数达到更高的精度。

5.5 实操中的关键参数与避坑

复现Inception系列时，最容易出错的地方是通道数的拼接。每个分支的输出通道数必须提前算好，拼接后的总通道数要和下一层的输入匹配。我建议你在写代码前，先画一张表，把每个模块的输入通道、各分支输出通道、拼接后通道都列清楚，这样能避免大部分维度错误。

第二个坑是BN层的momentum参数。PyTorch默认是0.1，但这个值在batch size较小时可能偏大，导致running statistics更新太快。如果你用较小的batch size（比如16或32），可以把momentum调到0.01或0.05，训练会更稳定。

第三个坑是辅助分类器的权重。GoogLeNet原始论文里辅助损失的权重是0.3，但这个值不是绝对的。如果你发现主损失下降正常，辅助损失波动很大，可以把权重降到0.1或直接去掉。

注意：Inceptionv3的输入尺寸通常是299×299，不是224×224。这是因为它的卷积分解和池化设计对尺寸有特定要求。如果你用224×224，需要调整某些层的padding，否则尺寸会对不上。

6. 六个网络的横向对比与选型建议

6.1 参数量、计算量与精度的权衡

我把这六个网络的关键指标整理成一张表，方便你直观对比。需要说明的是，精度数据来自ImageNet分类任务，不同实现会有小幅波动，但相对关系是稳定的。

从表里能看出一个清晰的趋势：参数量从LeNet的几万，到AlexNet和VGG的亿级，再到Inception系列的千万级。这不是简单的数字变化，而是设计思路的转变——从“堆参数”转向“提效率”。Inception系列用更少的参数达到更高的精度，这个方向后来被ResNet、EfficientNet等继续发扬光大。

6.2 不同场景下的选型逻辑

如果你是在学习阶段，我建议按LeNet-5 → AlexNet → VGG16 → GoogLeNet → Inceptionv3的顺序逐个复现。每个网络跑通一遍，你对卷积网络的理解会层层递进。不要跳步，跳步会导致你后面看Inception模块时一头雾水。

如果你是在做实际项目，选型逻辑就不一样了。资源极度受限（比如嵌入式设备），优先考虑GoogLeNet或BNInception，它们的参数量和计算量都比较小。需要高精度且不在乎计算量，VGG16或Inceptionv3都可以，但VGG16的显存占用更大。需要迁移学习，VGG16的预训练权重最通用，但Inceptionv3的特征通常更强。

还有一个实用建议：如果你的数据集和ImageNet差异较大，不要直接微调整个网络，而是冻结前面的卷积层，只训练后面的层。这样能防止预训练权重被破坏，也能减少过拟合。等模型稳定后，再逐步解冻更多层做微调。

6.3 从这些经典网络里能学到什么

回头看这六个网络，它们其实回答了卷积网络设计的几个核心问题：第一，卷积核多大合适？从LeNet的5×5，到VGG的3×3，再到Inception的1×3和3×1，趋势是越来越小、越来越非对称。第二，网络多深合适？从LeNet的5层，到VGG的16层，再到Inception的几十层，深度在增加，但参数量在减少。第三，如何控制参数量？VGG用堆叠小核，Inception用瓶颈结构和卷积分解，思路都是“用更少的参数表达更强的非线性”。

这些设计原则在今天依然适用。你看现在的EfficientNet、ConvNeXt，本质上还是在回答同样的问题，只是用了更系统的方法去搜索最优配置。所以啃这些经典网络不是怀旧，而是建立一套判断网络设计好坏的底层标准。

7. 常见问题与排查技巧实录

7.1 尺寸对不上怎么办

这是复现经典网络时最高频的问题。卷积层输出尺寸的公式是：输出 = (输入 + 2×padding - 卷积核) / 步长 + 1。池化层类似。如果你发现某一层尺寸对不上，先检查padding和步长，再检查输入尺寸。我的习惯是每写一层就打印一次尺寸，这样能第一时间定位问题。

对于VGG和Inception这种层数多的网络，建议写一个辅助函数，输入当前尺寸和层参数，自动算出输出尺寸。这样你改结构时不用手动重算，效率高很多。

7.2 训练不收敛或loss震荡

如果loss一开始就震荡，大概率是学习率太大。先把学习率降到1e-4试试。如果loss下降很慢，可能是初始化有问题，可以换成He初始化或Xavier初始化。如果loss突然变成NaN，检查有没有除零操作，或者梯度爆炸，可以加梯度裁剪。

BN层能显著改善收敛性，但要注意BN在batch size太小时效果不好。如果你batch size小于8，可以考虑用GroupNorm替代BN，或者用更大的batch size。

7.3 过拟合严重怎么处理

经典网络参数量大，在小数据集上很容易过拟合。我常用的组合拳是：数据增强（随机裁剪、翻转、颜色抖动）+ Dropout + 权重衰减 + 早停。如果还不够，就冻结前面的层，只训练后面的层。另外，标签平滑也是一个很有效的技巧，尤其是Inceptionv3里已经内置了。

7.4 显存不够怎么办

VGG16的全连接层是显存杀手。最直接的办法是把全连接层换成全局平均池化，参数量直接降到零。如果不想改结构，可以减小batch size，或者用混合精度训练。混合精度能把显存占用降低约40%，速度也能提升，但要注意有些操作在float16下会溢出，需要加loss scaling。

7.5 预训练权重怎么用

加载预训练权重时，最常见的错误是类别数不匹配。如果你自己的数据集类别数不是1000，需要把最后一层的输出维度改掉，并且把这一层的权重重新初始化。其他层的权重可以直接加载。如果输入尺寸和预训练不一致，前面的卷积层可以加载，但后面的全连接层需要重新训练。

提示：加载预训练权重后，先冻结所有层，只训练最后一层几个epoch，等loss稳定后再解冻部分层做微调。这个流程能最大程度保留预训练特征，同时适配新任务。

8. 我个人的一些实操体会

这几个网络我前后复现过很多遍，踩过的坑基本都写在上面的章节里了。如果只让我说一条最重要的经验，那就是：不要急着跑通，先算清楚每一层的尺寸和参数量。很多人调不通网络，根本原因不是代码写错了，而是对尺寸变化没有直觉。你手动算过一遍VGG16的尺寸链条，再写代码时基本不会出错。

另一个体会是，经典网络的价值不在于直接拿来用，而在于帮你建立“设计感”。你看多了Inception模块的通道分配，自己设计网络时就会下意识地考虑计算量均衡；你理解了VGG的堆叠逻辑，就知道深度不是越多越好，而是要配合参数量控制。这种设计感是看再多教程也学不来的，必须自己动手复现、改结构、跑实验。

最后分享一个小技巧：复现经典网络时，先用小数据集（比如CIFAR-10）跑通，确认结构没问题，再换大数据集。CIFAR-10的32×32输入需要调整网络的第一层，但整体流程是一样的。这样能快速验证代码正确性，避免在大数据集上浪费时间和算力。等小数据集上精度正常了，再迁移到大任务上，心里就有底了。