一直觉得，技术圈有个很容易被忽视的规律：越新的东西，越得回老教材里找根。前阵子重读《Neural Networks and Deep Learning》时，我被配套的network3.py代码勾住了。书名听着像是一本入门读物，但它讲卷积神经网络（CNN）的原理时，配合那份网络实现代码，几乎把现在主流框架里能见到的核心环节都手动实现了一遍。

网络模型的演进快得让人腰疼，但卷积、池化、全连接、dropout、ReLU这些词，在今天的各类项目里依然是高频热词。我见过不少刚入行的朋友，用现成接口搭模型非常熟练，一旦问“卷积层反向传播时梯度到底怎么传回上一层的”，就开始支支吾吾。这并不丢人，因为框架封装做得太好了。可如果你想在真实项目里排掉诡异的上溢、梯度炸掉、loss不降这类问题，迟早得向原理层走一趟。这篇笔记就是我从network3出发，把卷积神经网络原理和那份示例代码揉碎之后，写给自己的复盘，也希望能帮你省一点自己翻源码的时间。

它特别适合两类人：一是刚看完CNN理论、想找个能复现的简单代码来对照的初学者；二是已经在用现代框架写模型、但偶尔被晦涩的运行机制卡住、想回补底层认知的工程型选手。下面我按自己的阅读顺序，把最核心的部分逐层拆开。

1. 为什么一本老书的示例代码还值得逐行读

先说个反直觉的感受：network3这份代码，今天看它已经“跑不出好结果”的概率很大，早年它依赖的那套符号计算框架基本停止了维护，环境一堆兼容性问题。但这恰恰是它值得读的原因——它写得很朴素，几乎每个概念都能在代码里找到一一对应的变量和方法，没有任何花哨的装饰。

1.1 玩具级代码的价值不在精度，在直觉

很多教材里的代码要么过于抽象，要么过于庞大，你根本找不到“卷积核”到底长在哪一行。而network3走了另一个极端：它把网络拆成一个一个的层对象，每层有初始化、前向计算、反向传播这三个清晰段落。你顺着调用关系往下读，就像看手工课上把零件摆上桌一样，CNN的原理被还原成了一个可触摸的过程。

我强烈建议你在读的时候配合三个问题去看代码：

• 每个层在forward阶段到底对输入数据做了什么变换？
• 变换之后的维度是怎么变化的？
• 到了backward阶段，误差是怎么从输出层“逆流而上”修改参数的？

这三个问题，其实就是CNN的全部核心。任何一个现在流行的框架，无论怎么封装，最终都跑不出这三个问题的框架。读老代码最大的收获，是把“用接口”变成“懂结构”。

1.2 老代码与现代框架示例代码的对比

我自己整理了一张表，方便说明为什么单独读network3有独特价值：

现代框架的示例当然更高效，但它是“毛坯房交付”，装修逻辑全藏在内墙里；network3更像是直接把砖块、钢筋、水泥都摊开给你看。所以即便它“过时”了，作为原理脚手架，依然相当称职。

2. 卷积神经网络的三个核心组件在代码里怎么落地

CNN相比传统全连接网络，最大的变化是引出了局部连接和参数共享这两个概念。network3里的实现方式，尽管用的是旧式写法，逻辑内核和今天完全一致。我按数据流的顺序讲。

2.1 从全连接到卷积：参数爆炸问题

如果你用过全连接网络处理图片，一定会碰到一个尴尬：一张普通尺寸的图，比如单通道的灰度图，拉成一维向量后哪怕像素不多，第一层全连接就能吃掉庞大的参数矩阵。

举个具体点的例子，假设一个中等尺寸的输入映射到同样规模的隐藏层，参数量立刻上万，如果到了稍大一点的图像，百万参数是很常见的。这不仅让训练变慢，还特别容易过拟合——模型“背题”而不是“学特征”。

卷积的思路是：不再让每个输出神经元连接输入的所有像素，而是只连一个局部窗口。这个窗口叫感受野，在图片上滑动并做加权求和，就得到一张新的特征图。这相当于把问题从“记住全局像素关系”变成了“提取局部模式”。

2.2 卷积层实现思路：滤波器、局部感受野、权值共享

在network3的层定义里，卷积层会维护一组共享权重。每个滤波器负责检测一种局部模式，比如竖直边缘、水平边缘、某个弧线。因为同一组权重会在整张图上反复滑动，所以叫“权值共享”。这一步直接让参数量大幅下降。

如果用伪代码去表达一个简化版的卷积层前向逻辑，大概是这个味道：

class ConvLayer: def __init__(self, num_filters, filter_height, filter_width): self.num_filters = num_filters self.filter_shape = (filter_height, filter_width) def forward(self, input_images): batch_size, channels, height, width = input_images.shape output_height = height - self.filter_shape[0] + 1 output_width = width - self.filter_shape[1] + 1 # 初始化为一个四维数组，每个滤波器对应一张输出特征图 output = np.zeros((batch_size, self.num_filters, output_height, output_width)) for n in range(batch_size): for f in range(self.num_filters): for i in range(output_height): for j in range(output_width): patch = input_images[n, :, i:i + self.filter_shape[0], j:j + self.filter_shape[1]] output[n, f, i, j] = np.sum(patch * self.w[f]) + self.b[f] return output

实际network3里用的是矩阵化的批量运算，并不会真的写这么多层循环，但核心思想就是这样的。你看到每个输出位置，都是输入的一个局部patch经过加权求和后的结果。哪个滤波器对这个patch激活越大，输出值就越大，说明当前局部区域越接近该滤波器要捕捉的模式。

这里我想特别插一个容易被现代框架误导的点：很多框架文档里叫conv的函数，本质实现是互相关运算，并不是严格数学定义里的卷积。区别在于内核是否翻转。因为梯度学习时翻转与否可以通过翻转内核来等价补偿，所以框架直接用了计算上更便捷的版本。这个认知你如果自己手写反向传播时会特别重要。

2.3 池化层：为什么“缩小”反而能提升效果

卷积之后的特征图依然很大，如果直接全部连到全连接层，参数压力还是会反弹。池化层的作用是“降采样”：在一个小窗口内取最大值或平均值，用窗口代表值替代一整块信息。

很多初学者会疑惑：把信息缩小不是会丢内容吗？为什么效果反而变好？

核心原因是池化带了一种温和的“平移不变性”。当图像里某个特征稍微移动了一点，只要它还在同一个池化窗口范围内，池化后的输出大概率保持不变。对分类任务来说，我们关心的是“图中是否有这个特征”，而不是“这个特征精确出现在哪个坐标”。所以主动丢弃部分位置精度，反而提升了模型的泛化能力。

network3里的池化策略同样很朴素：窗口大小为2乘2，步长设为2，取最大值。代码实现上，它通常紧跟卷积之后，组合成一个卷积+池化的复合层。你从数据形状看会非常直观：结合了卷积和池化后，特征图的高度、宽度都缩了一半，深度则变为滤波器数量。

2.4 全连接层与softmax：输出分类决策

经过若干轮“卷积+池化”的提取，网络得到的是大量语义更强的特征图。在进入输出环节前，这些特征图会被展平成一维向量，然后接到一两个全连接层进行组合判断。最后接一个softmax输出层，把得分变成一组和为1的概率分布。

softmax的写法非常固定：对每个输出位置取指数，再做归一化。

def softmax(z): # 减掉每行最大值，避免指数上溢 shifted = z - np.max(z, axis=1, keepdims=True) exp_z = np.exp(shifted) return exp_z / np.sum(exp_z, axis=1, keepdims=True)

之所以要减去最大值，是因为在指数运算里，如果输入稍大，数值计算就会溢出。很多深度学习训练中的“NaN”问题，源头往往就在这里。单看这一处细节，手写代码的价值就体现出来了——你用框架的时候根本不会意识到这类数值陷阱。

3. network3的层设计与反向传播流程拆解

network3最让我佩服的地方，是对层的抽象非常干净。它的整体设计被我提炼成了一条主线：以层为组装单元，每个层负责维护自己的参数和梯度，前向传播把数据送过去，反向传播把误差送回来。

3.1 层的抽象：每个Layer的核心职责

一个层对象大致承担三件事：

1. 初始化参数，包括权重和偏置。
2. 根据输入计算输出，同时记下反向传播需要用到的一些中间结果。
3. 接收上一层传来的误差，计算本层参数的梯度，并把误差继续传给更前面的层。

这种“高内聚，低耦合”的分层设计，既方便你单独替换某个层，也方便你理解全链路。我在读代码时甚至觉得，这就是一套极简版的深度学习框架接口设计：你给它输入数据，它知道怎么把数据变成输出；你给它误差，它知道怎么把误差变成梯度。

3.2 前向传播：数据如何流过卷积+池化+全连接

前向传播最核心的一行逻辑可以总结成一个公式：

输出 = 激活函数(权重矩阵 与 输入 的运算结果)

对于卷积层，这个“运算”是互相关；对于全连接层，这个“运算”是矩阵乘法。激活函数在network3里最常见的是ReLU，即负数直接置零、正数保留。它在代码里往往就是一行：

def relu(z): return np.maximum(z, 0)

ReLU的流行不是没有道理。一方面它的计算极其简单；另一方面，它缓解了早期Sigmoid函数在深层网络里的梯度消失问题。负数区直接把梯度置零，虽然带来了“神经元死亡”的副作用，但实践中配合合适的初始化和学习率，往往足够好用。

3.3 反向传播：误差如何从输出层传回卷积核

反向传播是理解CNN的关键，也是很多人止步的地方。我的经验是：不要上来推导数学公式，先记住一个宏观的东西——误差是一股沿着网络反向流动的“信息流”，每个层都在用它更新自己的参数，并把它转换成上一层看得懂的形式。

拿全连接层举例。假设这一层通过矩阵乘法得到输出，接着经过激活函数。反向传播时有两个量要计算：

• 当前层权重矩阵的梯度，由“上一层传入误差”和“本层输入”外积得到。
• 传给下一层（也就是更前面的层）的误差，由“上一层传入误差”乘以当前层权重的转置得到。

到卷积层时，误差传递会复杂一些：误差要通过卷积核传播回去，这一过程在代码里往往表现为把误差矩阵和旋转了180度的卷积核做一次相关或卷积运算。这也是前面我提醒“现代框架实现的卷积其实是互相关”会起作用的地方——如果你搞混了坐标方向，手写反向传播时特别容易出维度错位。

实际网络代码中，卷积的反向实现会借助矩阵运算一次处理整批样本，但本质逃不出上面这层逻辑。我建议你读的时候，先用小尺寸数据手工推一层，再用代码去对答案，印象会深得多。

3.4 代码中的权重初始化和dropout细节

network3对权重初始化的处理值得一提：它没有用全零这种糟糕方案，也没有用过大或过小的随机数，而是根据上一层神经元数量来设置标准差。大概规律是：标准差越大，初始输出越容易落在激活函数的饱和区；标准差太小，信号又会迅速衰减，导致梯度消失。

现代框架的默认初始化策略，很多都能追溯到这个朴素的观察：让输入和输出在每个层之间的方差大致保持稳定。

dropout如果接入这个网络，思路就更有意思了。它在训练时，每个神经元的输出有一定概率被置零，相当于每次前向都在训练一个“瘦身版”的子网络。多个子网络在同一个参数框架下被训练，最后测试时相当于做了一次隐式集成。

但要注意一个匹配细节：训练阶段如果随机丢弃了一部分神经元，测试阶段就必须对权重做缩放补偿，否则输出分布会整体漂移。我一个朋友曾经在这里偷偷偷懒，结果训练曲线很美，测试集上效果直接崩塌。后来把权重乘回去，问题瞬间消失。这类“训练测试行为不一致”的细节，框架通常帮你做了，但如果你手写代码，必须确保清楚。

4. 照着network3复现时我踩过的几个坑

老代码复现，最大的障碍从来不是理论，而是环境与数值上的隐形陷阱。我把自己实实在在踩过、也帮别人排查过的几类问题列出来，应该能帮你节省不少时间。

4.1 符号计算框架的编译期与运行期差异

早年深度学习代码依赖的框架是符号式设计：你先声明一堆符号变量、描述清楚计算图，然后编译成一个函数，后续反复调用。这个思路和今天即时执行式的框架差别很大。我第一次调试时，一直试图在“定义图的阶段”打印中间结果，结果只得到一堆抽象的描述，完全看不到数值。后来才反应过来：计算图的定义与执行是分离的，你要打印的具体数值，必须在函数被调用后、在它的内部或者通过特殊机制去获取。

现代读者如果第一次接触这类代码，先做好这个心理建设比什么都重要：先构图，再求值。

4.2 维度对不上导致梯度消失或发散

CNN代码里头号杀手就是维度。卷积之后特征图的高度、宽度计算公式是这样的：

输出高 = 输入高 - 卷积核高 + 1 输出宽 = 输入宽 - 卷积核宽 + 1

这个公式在步长为1、没有填充的前提下成立。如果你设计网络时没算好，经过两层卷积后宽度变成了零甚至负数，后面的全连接层拉平数据时，维度就对不上。这类错误通常不会直接报“你算错了”，而是会在梯度更新时出现形状不匹配的报错，或者更隐蔽地让损失直接变成NaN。

我的排查习惯是：每接一个层，就把该层的输出形状打印出来，从输入一路看到输出。保证每一层的形状变化都在预期内，再开始训练。

4.3 学习率、批大小和正则化的调参经验

network3这类老代码中，学习率一般会设置得比较保守，批量大小也不大。我实测下来，一个比较稳妥的操作顺序是：

1. 用一张或两三条数据过一遍前向和反向，确认没有报错。
2. 用一个很小的网络跑几个迭代，确认loss在下降。
3. 再逐步加深度、加卷积核数量。
4. 调节学习率时以十倍为单位试探，找到发散的临界值后往回退。

这种方式比一上来就跑完整模型高效得多。我见过太多人把学习率设得过高，loss曲线像心跳图一样来回跳，最后还怀疑网络结构有问题。其实先学率砍半，曲线瞬间安静。

另外，正则化系数也不是越大越好。正则化本质是给模型加一层“记忆惩罚”，系数太大会让模型变得过于简单，连训练集都拟合不好。建议在固定其他参数的前提下，先观察不加正则时的表现，再逐渐微调系数。

4.4 在小数据集上判断网络是否正常

判断网络写没写对的黄金标准之一，是用极小的数据量强行过拟合。如果你拿一条数据去拟合，经过足够迭代后，loss应当能降到接近零，预测结果应当能完全命中。如果在这个极限简化场景下网络都学不会，那基本可以断定是代码逻辑有bug、维度错误或者数值不稳定。这种“先让它背题，再让它做题”的调试方式，我几乎每次都用。

5. 从network3转到现代框架时保留的几笔“心法账”

读完network3再回来用现代框架，你会发现自己对很多操作有了“透视”能力。不是因为它多高级，而是因为你已经见过这些操作最原始的模样。

5.1 现代的卷积层、池化层、全连接层都是老朋友

今天的框架里，一个卷积API内部做得比你想象的要多：它可能包含填充、步长设置、分组卷积、膨胀卷积等扩展。但核心依然是滑动窗口加权求和，和我在第2节手写简易实现时做的事情一模一样。

再看池化，框架里通常提供最大值池化、平均池化等选项，底层就是在窗口内做对应归并。全连接层更直白，就是矩阵乘法加偏置。你知道了每一层的原始数学操作，就能理解为什么某些层要放在特定位置。比如为什么常常在几个卷积层后面接池化，然后再接全连接——就是为了逐步压缩空间尺寸并提炼高层语义。

5.2 数据增强、dropout、归一化的演进逻辑

network3的老代码中已经包含了一些输入数据变换的预处理思路，比如平移、旋转、缩放样本，来扩充训练数据。这其实就是数据增强的雏形。现代框架把数据增强做得越来越自动化、越来越自动化，但其本质还是一句话：让模型在更丰富的输入分布上学习，提高泛化力。

dropout从最早的全连接层扩展到了卷积层变体，归一化也从简单的输入归一化演进到批归一化、层归一化等方法。可这些方法解决的深层问题没变：控制网络内部数据的分布剧烈波动，从而稳定梯度流，让模型更容易训练。前辈们在老代码里踩出来对“分布偏移”的直觉，在今天只是换了个更高效的外衣。

5.3 这套代码教会我的调试方法论

最后想聊聊比技术细节更值钱的方法总结。深度学习项目的崩溃问题，十有八九不是模型结构思路错了，而是某个中间数值提前“爆炸”或“消失”了。network3的代码恰恰把中间量都摊在明处，让你能观察到每一步的数值范围。

我后来调试任何新模型，都沿用了这套思路：先看输入数据分布，再看每层输出的均值与方差，然后盯紧梯度范数。

如果梯度范数突然变为零，通常意味着信息流被截断了；如果快速膨胀到天文数字，通常意味着学习率过高或者初始化不合理；如果损失卡在某个值不动，可能是激活函数饱和或标签有误。

这张“症状—原因”表，我干脆放到里方便查阅：

纸上得来终觉浅。如果你想真正把CNN原理装进脑子，我的最后一条建议是：别满足于读完这篇笔记，而是打开network3代码，找到两个关键函数，前向和后向对应的部分分别做一次手写简化，再用小数据验证。这个动作看起来“慢”，实际上是我见过的把理论变成自身能力的最短路径。

我在实际写代码和调试时还有一个习惯：把任何层输出的形状变化写在注释里，一行一行对照。很多常年跑深度学习的人，坑踩到最后，比拼的往往不是谁模型更花哨，而是谁对每一层数据流更敏感。希望在你看完这篇笔记后，也能在下次遇到模型不收敛时，多一个“往回看原理”的选择。