ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

第一性原理大模型课程:寻找LLM 课程的高效学习方法

第一性原理大模型课程:寻找LLM 课程的高效学习方法

读完一个机制,你能不能在白板上用几个数字,从头把它算一遍?比如:为什么每一步都有 95% 是对的,一个 10 步的 Agent 任务却经常做不完?

我做推荐算法,转向大模型时发现,痛点不是资料太少,而是读过不等于会用。大多数教程让你记住了一个东西,但没让你自己推出来。所以我按第一性原理做了一套大模型课程,从 Transformer 一路讲到 Agent,免费、免登录、手机可看。

  • 在线阅读:https://zhuangzhaoyeye.github.io/llm-course/
  • 源码:https://github.com/zhuangzhaoyeye/llm_course (MIT 许可)

传统教程的症结:知识树

传统教程先分类,再逐类填充。你记住的是层级关系,比如"Self-Attention 是 Transformer 的组件,Q/K/V 是三个矩阵"。但分类是专家回顾时的视角,不是学习时该走的路。你还没遇到"RNN 处理长句会丢信息",就被告诉"Self-Attention 解决了长距离依赖",这对你只是一条信息,不是一个领悟。

这套课的做法:因果链

先让问题出现,再让解法被逼出来。

传统教法本课程
开场“今天学 Self-Attention,它是 RNN 的优化”“梯度每步乘 0.9,传 50 步后只剩 0.005,怎么让每个词直接看到所有词?”
路径分类 → 定义 → 公式 → 结论问题 → 撞墙 → 尝试 → 再撞墙 → 逼出解法
你得到记住层级关系理解"为什么会需要它"

第一性原理:三条可检查的标准

不从"业界怎么做"讲起,从"为什么必须这样"讲起。用因果链替代知识树之后,下面三条标准会反复出现:

标准解决的问题本课程怎么做
问题驱动不知道为什么要学每张卡片以一个问题开头,让你先想 30 秒
计算走查懂了概念,算不来用最小的真实例子算到底
冲突可见记住解法,不知道代价不只讲怎么做,还算不这么做的后果

三个例子,来自课程的不同部分:

课程问题算出来的结果
第 21 课 Agent每步 95% 正确,10 步任务为什么常做不完?0.95¹⁰ ≈ 0.599;二十步只剩 0.358
第 17 课 微调工程4096×4096 的权重更新,LoRA 凭什么只学一点点?全量 16,777,216 个数,r=8 只学 65,536 个,压缩 256 倍
第 15 课 KV Cache一个 8K 上下文的 70B 请求要占多少显存?每个 token 0.3125 MiB,8K 就是 2.5 GiB

再看一个代价:LoRA 把可训练参数压到千分之几,65B 为什么还是训不动?因为被冻结的 130 GB 基座权重仍然躺在显存里,压缩的只是"要更新的部分"。

数字放在表格里,每步一个独立标题,从上一步自然导出,没有来路不明的魔法常数。

课程覆盖什么

共 34 课、204 张卡片,分五个部分:

部分内容
认知衔接(1–6)Transformer、模型结构、Tokenization、从 Transformer 到 LLM
训练范式(7–12)Scaling Laws、数据工程、预训练、SFT、对齐、推理模型
训练与推理工程(13–19)分布式训练、显存与混合精度、KV Cache、量化、微调、推理引擎、评测
Agent 工程(20–28)提示工程、工具调用、MCP、记忆与 RAG、规划与反思、多智能体、评测与生产化
自主研究(29–34)自主研究的分级、选题、长时程执行、验证复现、报告与责任

每张卡片走同一条认知链:激活、锚定、推导、升华、追问。每卡 5 条以上带数字的预设追问,也可以问卡内的 AI 助教。新术语首次出现紧跟白话定义,类比之后必须回到专业名词。

如实记录:AI 能不能一键生成合格的课程

目前不能。机械门禁全绿时,我对第 1 到 28 课做了一轮独立盲审,仍然查出 186 条缺陷(P0 10 条、P1 36 条)。其中算术 0 处误算,缺陷集中在推理链顺序、提示泄题、跨课口径冲突、正文缺一手来源。结论是:脚本能守住有唯一答案的事,语义和品味判断仍然需要人。

想听你的意见

  • 哪张卡片你读完推不出来,卡在了哪一步?
  • 哪个类比帮到了你,哪个反而干扰了你?
  • 发现数字、论文归属、版本错误,请到仓库开 Issue,写清位置(例如"第 4 课第 2 张卡片,追问 3"),我会逐条核实。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进