10分钟看懂 nn-zero-to-hero7个notebook手写反向传播一路搭到GPT雏形【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero你在视频里听懂了反向传播自己敲代码时却卡在梯度到底怎么从 loss 流回每个权重。nn-zero-to-hero 就是来解决这个的它把每步推导都做成可跑的 Jupyter notebook让你边跑边改。适合刚入门、想真正弄清反向传播在算什么的人也适合天天写 PyTorch 却从没手写过 autograd 的开发者。仓库里到底装了什么仓库很轻根目录就一份 README.md 兼做课程目录和 LICENSE代码全在 lectures/ 下分两条线micrograd 线micrograd_lecture_first_half_roughly.ipynb 手搓标量 Value 类、画计算图micrograd_lecture_second_half_roughly.ipynb 把它扩成 Neuron 和网络、跑一次训练循环。makemore 线按 part1→part5 推进bigram 字符模型、MLP、BatchNorm、手写反向传播、WaveNet 风格 CNN每个 notebook 对应一讲。注意README 里第 7、8 讲从零搭 GPT、GPT 分词器目前只有视频仓库里没有对应 notebook别在这里找。最快怎么跑通第一步先装好 Python 和 torch再按顺序来每步跑通再往下走git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero打开 micrograd 前半场逐格运行。能看到 Value 类建起来、backward()把每个节点 grad 填上、draw_dot 画出计算图。跑后半场看 Neuron 怎么拼成网络loss 逐轮下降。切到 makemore_part1_bigrams.ipynb训练→采样→算 loss 三件套跑通loss 从初始值往下走。依次推进 part2 到 part5每节只加一个概念MLP、BatchNorm、手推反向传播、CNN。每讲结束对照 README.md 里该讲描述自测讲不清梯度怎么反传就回对应 notebook 重看。卡在哪一步就停在哪别往前硬冲——part4 没推完就去看 part5 基本白看。为什么不直接调现成的它不是给你一个能跑的 demo而是把loss.backward()背后的每一步摊开给你看。区别落在可验证的细节上micrograd 线只用标量Value和双精度操作没有 autograd你亲手看到_backward怎么一层层调用makemore part4 完全绕开loss.backward()在张量层面手推整张计算图的梯度。直接调框架你只拿到结论这里你拿到零件。最容易卡在哪别跳过 micrograd 直接进 makemore否则后面所有自动求导都退化成黑盒part4 基本做不下去。别在 part4 只看不写这一讲的设计就是先自己推、卡住了再暂停视频看答案纯看一遍收获打对折。别猜 part5 的张量 shapeCNN 那节 torch.nn 用法密度突然变高多打印 shape、多翻文档。别指望仓库里有 GPT 那两讲的代码第 7、8 讲暂时只有视频项目本身不提供这部分 notebook。别指望快速出效果这套课节奏偏慢目的是吃透原理不是调参出 demo。它适合你吗如果你是刚入门、想真正弄清反向传播在算什么的初学者 → 这门课就是为你这种困惑设计的如果你是天天写 PyTorch 但没手写过 autograd 的开发者 → micrograd 两节足以补上这块。如果你对微积分底子太薄、连链式法则都生疏 → 直接绕道先复习导数再看第一讲否则 micrograd 会看得很吃力如果你只想快速调现成模型出业务效果 → 直接绕道看框架官方文档更快这类推导游乐场不对你的味。今晚就把 micrograd 前半场 打开逐格跑起来等哪天你能自己推完 part4 的每一步再去看 GPT 那讲感受会完全不一样。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考