简介：这份PPT由清华大学人工智能研究院常务副院长孙茂松教授主讲，面向希望系统了解人工智能与大模型技术脉络的高校学生、研究人员及技术从业者，帮助建立从基础理论到前沿应用的完整认知框架。内容围绕“迈向通用智能的大模型技术”展开，涵盖图灵测试、2012年图像识别突破、2016年AlphaGo等关键节点，并深入剖析深度学习的三重境界——从白手起家、预训练模型加大小联调，到预训练大模型加一巨托众小。同时讲解GPT-3的语言生成能力与幻觉问题，以及AIGC的创造性、多样性与个性化特征，辅以AI生成对联等案例。资源包为1个PDF文件，大小约10.36MB，结构清晰，便于按讲次检索学习。目前已有299人学习下载，适合作为课程讲义或自学参考，帮助读者快速把握大模型发展现状与未来趋势。

1. 从图灵测试到 GPT-3：这份 PPT 把大模型演进讲透了

如果你正在找一份能把「人工智能与大模型通论」讲清楚的课件，又不想看满屏公式推导，这份 PPT 值得翻一翻。它围绕「迈向通用智能的大模型技术」展开，从 1950 年图灵在文章里提出的那个经典问题「Can machines think?」切入，一路梳理到 2022 年 ChatGPT 与图灵测试的再次碰撞，再到 GPT-3 的「下一个词预测」范式。整套内容不是堆概念，而是用图灵测试、语音识别、图像识别、机器翻译、AlphaGo 这些节点串出一条清晰的演进线。适合高校学生、刚转大模型方向的开发者，以及需要一份现成课件做内部技术分享的团队。它解决的核心问题是：让你在最短时间内建立从深度学习三境界到 AIGC 特性的完整认知框架，而不是碎片化地刷短视频。

2. 深度学习三境界：PPT 里的技术演进主线怎么读

2.1 第一重境界：白手起家与各家自扫门前雪

PPT 里把深度学习的早期阶段概括为「白手起家 + 各家自扫门前雪」，这个说法很形象。2010 年语音识别、2012 年图像识别、2015 年机器翻译，每个任务都是独立建模、独立训练，模型之间不共享知识。你在语音任务上训好的网络，换到图像任务上基本要从头再来。这一阶段的典型特征是：数据标注成本高、模型泛化能力弱、任务迁移几乎靠人肉调参。

从工程视角看，这个阶段对应的是「一个任务一个模型」的烟囱式架构。PPT 里用 2010 到 2015 的几个时间节点把这条线标出来，其实是在为后面的「预训练 + 微调」做铺垫。如果你只记住「深度学习很厉害」，却不知道它曾经这么笨拙，就很难理解为什么预训练范式的出现会被称作一次范式转移。

提示：看这一部分时，建议把 PPT 里的时间节点和对应的任务类型抄下来，后面讲预训练时你会用到这张时间表。

2.2 第二重境界：预训练模型加大小联调

到了第二重境界，PPT 给出的关键词是「预训练模型 + 大小联调」。这个阶段的核心变化是：先在大规模无标注数据上训练一个通用底座，再针对具体任务做微调。模型开始具备一定的迁移能力，不再需要每个任务都从零开始。你可以把它理解为「先上通识课，再上专业课」——底座模型学的是语言的通用规律，微调学的是具体任务的偏好。

这一阶段在工程上的直接体现就是：训练流程被拆成两段，第一段吃算力、吃数据，第二段吃标注质量、吃调参经验。PPT 里没有展开讲具体的微调策略，但从「大小联调」这个措辞能看出来，它强调的是大模型和小模型之间的配合，而不是单纯把模型做大。很多团队在这个阶段踩的坑是：底座没选好，微调再怎么调都救不回来。

2.3 第三重境界：预训练大模型加一巨托众小

第三重境界是 PPT 的重点：「预训练大模型 + 一巨托众小」。一个巨大的预训练模型作为核心，支撑大量下游小任务。GPT-3 就是这一境界的典型代表——它用「下一个词预测」这一个目标，把世界知识和逻辑推理能力都压进了参数里。PPT 里举了几个例子来说明这种能力：巴西首都的填空、签证与旅行的常识推理、90 分钟内赶到机场该叫什么车。这些例子看似简单，但背后是模型在预训练阶段「学习并存储世界知识」和「学习得出合乎逻辑和常识的结论」两件事同时发生。

从选型角度看，这一境界意味着技术决策的重心从「怎么设计网络结构」转移到了「怎么准备数据、怎么设计提示、怎么评估幻觉」。PPT 里那句「大道至简：语言生成模型 + 下一个词预测」是对这一转变最精炼的概括。你如果正在做技术选型，这一页值得反复看——它解释了为什么现在大家都在卷数据质量和推理成本，而不是卷网络层数。

3. 把 GPT-3 的「下一个词预测」讲明白：PPT 里的例子怎么复现

3.1 从填空例子理解世界知识存储

PPT 里给了三个填空例子，分别对应世界知识、常识推理和逻辑结论。第一个例子是「The current capital of Brazil, since its construction in 1960, is [Brasilia]」。这个空填 Brasilia，靠的是模型在预训练时见过大量关于巴西首都的文本。第二个例子是「She wanted to go to China or Japan. For China she couldn’t get a visa, so she went to [Japan]」，这里需要的是排除法推理。第三个例子是「He had to be at the airport in 90min. Since his car was still in the shop and there were no busses going to the airport, he called a [taxi]」，这是典型的常识链条。

如果你想在本地复现这类填空行为，最常见的做法是用一个开源的小规模语言模型做演示。下面这段代码用 Hugging Face 的 transformers 库加载一个因果语言模型，对 PPT 里的第一个例子做掩码预测。注意：这里用的是小模型做演示，效果不能和 GPT-3 比，但流程是一样的。

from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 加载一个小规模因果语言模型，用于演示下一个词预测流程 model_name = "gpt2" # 实际项目中可替换为更大的开源模型 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # PPT 中的巴西首都例子，把答案位置留空 prompt = "The current capital of Brazil, since its construction in 1960, is" # 编码输入 inputs = tokenizer(prompt, return_tensors="pt") # 生成下一个词，max_new_tokens=1 表示只预测一个词 with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=1, do_sample=False, # 贪婪解码，选概率最高的词 temperature=1.0 ) # 解码输出 result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(result)

这段代码的逻辑很直接：把提示词喂给模型，让模型预测下一个 token。max_new_tokens=1控制只生成一个词，do_sample=False表示用贪婪解码而不是随机采样。参数上，temperature在贪婪解码下不起作用，但如果你改成do_sample=True，它就会影响输出的随机性。PPT 里提到的「按概率随机游走」对应的就是采样解码，而「幻觉」问题在采样模式下会更明显。

注意：小模型在事实性填空上经常翻车，这不是代码问题，是模型容量和训练数据的问题。PPT 里 GPT-3 的例子是用千亿级参数和海量数据换来的，不要用小模型的失败来否定整个范式。

3.2 用 top-p 采样复现 AIGC 的多样性

PPT 里有一页专门讲 AIGC 的多样性，举了对联生成的例子：「夜阑卧听风吹雨」作为上联，模型可以生成多个不同风格的下联，比如「兴到狂吟雪满枝」「晓起坐看露湿衣」「醉后休夸柳漫山」。这些下联都符合对仗规则，但意境各不相同。PPT 里标注了「top-p search」，说明用的是核采样策略。

下面这段代码演示如何用 top-p 采样生成多个候选输出。和上面的贪婪解码不同，这里每次生成的结果都会不一样。

from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name = "gpt2" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 用对联上联作为提示，演示多样性生成 prompt = "上联：夜阑卧听风吹雨\n下联：" inputs = tokenizer(prompt, return_tensors="pt") # 用 top-p 采样生成 3 个不同候选 for i in range(3): with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=10, do_sample=True, # 开启采样 top_p=0.9, # 核采样：只从累积概率 90% 的词里选 temperature=0.8, # 温度越低越保守，越高越随机 pad_token_id=tokenizer.eos_token_id ) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"候选 {i+1}: {result}")

参数说明：top_p=0.9表示每次只从概率累积到 90% 的词表子集里采样，这样既保留了多样性，又不会选到太离谱的词。temperature=0.8是一个偏保守的值，如果你想要更「天马行空」的输出，可以调到 1.0 甚至 1.2。PPT 里强调的「天马行空式创造性」和「个性化」，在工程上就是靠这几个采样参数来控制的。

提示：top-p 和 temperature 不要同时调得太激进，否则输出会变得不可读。常见做法是固定一个，调另一个。

3.3 幻觉问题的工程表现与观察方法

PPT 里专门用一页讲 GPT 的「幻觉」问题，原话是「强大而较为准确的理解和生成能力及与生俱来的幻觉问题」。它还举了几个中文例子来说明模型对语序和语义的敏感：「山东最高的山是哪座山？」和「哪座山是山东最高的？」模型都能答，但「山东最高的山是哪座山？山西最高的山是哪座山？」这种对比就会暴露问题。还有「北京的女孩很大气」和「北京女孩很大气」、「北京的大学很赞」和「北京大学很赞」这种分词歧义。

从工程角度看，幻觉不是 bug，而是概率生成模型的固有特性。你可以在本地用下面的方法观察幻觉：给模型一个它训练数据里没有的事实性问题，看它是不是会编一个看起来很像真的答案。

from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name = "gpt2" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 问一个模型大概率不知道的事实 questions = [ "某虚构公司 2024 年的营收是多少？", "某不存在的论文的作者是谁？" ] for q in questions: inputs = tokenizer(q, return_tensors="pt") with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=20, do_sample=True, top_p=0.9, temperature=0.9, pad_token_id=tokenizer.eos_token_id ) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) print("---")

运行后你会看到模型一本正经地编出数字或人名。这就是 PPT 里说的「按概率随机游走」——它不是在检索事实，而是在续写最像答案的文本。理解这一点，你在做应用时就会知道：事实性场景必须加外部知识库或检索环节，不能裸用生成模型。

4. 避坑与排查：用这份 PPT 做技术分享时容易翻车的几个点

4.1 把「三境界」讲成线性替代关系

现象：分享时容易说成「第一境界被第二境界淘汰，第二境界被第三境界淘汰」。原因：PPT 是按演进顺序排的，但实际工程中三种模式并存。解决：讲的时候补一句——现在很多团队还在用「预训练 + 微调」做垂直任务，第三境界的「一巨托众小」是方向，不是唯一解。

4.2 用 GPT-3 的例子直接套小模型

现象：拿 PPT 里的巴西首都填空去测本地小模型，发现答不对，然后怀疑 PPT 有问题。原因：GPT-3 是千亿级参数，小模型是亿级，容量差几个数量级。解决：演示时明确说明模型规模差异，或者直接用 API 做对比，不要用小模型的失败来否定范式。

4.3 忽略 top-p 和 temperature 的联动

现象：调了 temperature 发现输出变化不大，或者调了 top-p 发现输出开始胡言乱语。原因：两个参数都在控制随机性，叠加调整会互相放大。解决：先固定 top-p=0.9，只调 temperature；或者固定 temperature=0.8，只调 top-p。一次只动一个变量。

4.4 把幻觉当成可以「修好」的 bug

现象：试图通过调参或换模型彻底消除幻觉。原因：幻觉是概率生成模型的固有特性，不是实现缺陷。解决：在应用层加检索增强或事实校验，而不是在模型层追求零幻觉。PPT 里把幻觉和「强大理解能力」并列，就是在暗示这是一个 trade-off。

4.5 分享时堆太多时间线，听众记不住

现象：PPT 里从 1950 年图灵测试一路讲到 2022 年 ChatGPT，信息密度大，听众容易走神。原因：时间线是背景，不是重点。解决：把时间线压缩成一页，重点讲三境界和 GPT-3 的「下一个词预测」，这两个才是技术主线。

5. 从 AIGC 特性到落地：一份 PPT 的进阶用法

5.1 用「三特性」框架评估生成任务

PPT 里把 AIGC 的特性归纳为三条：天马行空式的创造性、多样性、个性化。这三条其实可以直接拿来当评估框架。你在做生成类应用时，可以问自己：这个任务需要创造性吗？需要多样性吗？需要个性化吗？如果三个都不需要，那可能用规则或检索就够了，不必上生成模型。

比如对联生成，三条都占：需要创造性（不能总是那几个下联）、需要多样性（不同风格）、需要个性化（根据用户偏好调整）。而如果是客服自动回复，创造性和多样性都不需要，个性化也有限，那用检索或模板就更稳。

5.2 把「下一个词预测」当成理解大模型行为的钥匙

PPT 里反复强调「大道至简：语言生成模型 + 下一个词预测」。这句话不只是技术描述，更是一种理解模型行为的方法论。当你遇到模型输出不符合预期时，问自己：在当前上下文下，概率最高的下一个词是什么？模型为什么会选这个词？是训练数据里这种搭配多，还是提示词里有歧义？

我自己的习惯是：每次调试生成任务，先把 temperature 设为 0，用贪婪解码看模型最「确定」的输出是什么。如果贪婪解码都不对，那说明提示词或模型选型有问题，调采样参数也救不回来。如果贪婪解码对，但采样后不对，那就是随机性控制的问题。

5.3 一份可以直接抄的分享大纲

如果你要拿这份 PPT 做内部技术分享，下面这个大纲可以直接用，控制在 40 分钟以内：

这个大纲的好处是：把时间线压缩到 10 分钟，把 GPT-3 和 AIGC 展开讲，最后用幻觉问题收尾，听众带走的是「怎么用」而不是「发生了什么」。

5.4 验证你是否真的理解了这份 PPT

一个简单的自测方法：合上 PPT，用自己的话解释「为什么 GPT-3 能用下一个词预测这一个目标，同时学到世界知识和逻辑推理」。如果你能说清楚「因为预测下一个词需要用到上文的所有信息，包括事实和推理链条」，那说明你抓住了核心。如果只能说「因为模型很大」，那还需要再翻回去看第 14 到 16 页。

从那以后我每次看技术课件，都会先找它的「一句话主线」，再去看细节怎么支撑这条主线。这份 PPT 的主线就是「从白手起家到一巨托众小，下一个词预测是贯穿始终的底层机制」。抓住这条线，20 页的内容就不会散。希望帮到你。

本文还有配套的精品资源，点击获取