ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

大模型涌现的真相:预训练、适配、利用与评估四大维度

大模型涌现的真相:预训练、适配、利用与评估四大维度

过去几年,关于 LLM 的讨论几乎绕不开一个词:涌现。这个词描述的是一种让人既兴奋又不安的现象——当模型规模突破某个临界点后,能力不是缓慢爬坡,而是像突然“开窍”一样冒出来。前几天和人聊到 2026 年这个时间点,大家终于承认,这个问题已经从实验室里的理论争论,变成了所有做 AI 生产落地的人必须面对的现实问题:预训练、适配、利用、评估这四大生产维度,到底分别贡献了什么?这篇文章我就把这四个维度彻底拆开,讲清楚“智能”是怎么被造出来、引出来、用出来,以及被“看见”的。适合正在做大模型应用、做 AI 基础设施,或者单纯想弄明白“智能从哪来”的人。

1. 规模突破后“突然开窍”:涌现到底是什么在涌现

1.1 现象断点:能力不是匀速爬坡的

在真正接触大规模模型之前,我对“涌现”的理解其实是错的。我以前以为,模型能力的提升就像考试分数一样,从 60 分到 70 分再到 80 分,是均匀的。但实际观测到的现象不是这样:某个参数量级别的模型,在数学推理、多步任务、代码生成上的表现几乎为零——不是“做得差”,而是“完全不会”;一旦规模跨过某个阈值,这些能力突然就从无到有地冒了出来,而且不是及格线边缘的勉强,而是一上来就有模有样。

这种断点式的变化,是“涌现”这个说法流行的根源。大家用“相变”来类比:水在 100 度才沸腾,但在这之前,温度是连续上升的;模型也一样,损失函数(loss)一直在平滑下降,但某些下游能力却呈现出阶跃式跳变。这里有一个关键认知需要纠正:模型能力的涌现,并不是因为参数多了所以“变聪明了”,而是因为参数量增加之后,某些原本被压制、被干扰、被“瓶颈项”卡住的能力,终于第一次有机会完整地表达出来了。

我自己的经验是,不要被“突然”这两个字迷惑。看似突变的那一条曲线,背后其实是无数条连续曲线的组合。规模只是一个放大器,它放大了数据中原本就存在的模式,也让模型终于有能力把多步子任务串成一条完整的推理链。

1.2 三种主流解释:任务覆盖、插值效应与测量误差

业内对“为什么涌现”大致有几种互相竞争又互不排斥的解释,我用大白话讲一下。

第一种是任务覆盖假说。它认为,任何一个看起来高级的任务,比如“解一道竞赛数学题”,都不是一个能力,而是多个子能力的组合:理解题意、提取条件、建立方程、分步计算、验证结果。小模型可能只激活了其中一两个子能力,其他能力还处于“不可用”状态,所以整个任务评分自然为零。模型规模扩大之后,每一个子能力都越过了它的可用阈值,任务才能被完整组合出来。这就像乐队演出,每种乐器单独都能出声,但只有所有乐手都准备好了,整首曲子才完整呈现。规模突破后涌现的,不是某个新乐器,而是“全体合奏”的可能性。

第二种是插值效应。大模型的训练把海量文本映射到一个压缩的高维空间中。参数量不足时,测试输入落到这个空间的“外推区”,模型只能靠猜;参数量足够大时,表达空间被数据填充得足够稠密,测试输入哪怕没见过,也会落进某个已知模式的邻域,模型本质上是在做“内插”,成功率自然就高。我的理解是,规模本质上买的是“先验空间的覆盖度”,覆盖到了,能力就有了。

第三种是测量误差解释。它提出了一个很尖锐的质疑:有没有可能涌现是一种“测量假象”?比如用准确率这种二值评分时,模型从 0% 跃升到 90%,看起来确实像突变。但如果换成连续性更强、对微小概率变化敏感的指标,比如对数损失,那条曲线就是平滑上升的。这个解释不否认模型能力变强了,但它提醒我们:阶跃的视觉效果,有一部分是人造的评价格式造成的。这个观点非常重要,我们在后面讲评估生产维度时还会展开——它直接影响预算决策。

1.3 正确理解涌现,才能真正决定生产投入

把上面三条解释放在一起看,结论其实很实用:涌现不是一个单一事件,它至少同时包含“数据中已有模式被解锁”“先验空间被填满”“评测指标制造了视觉突变”三层含义。对做生产的人来说,这个认知的重要性在于——你不能指望“再堆一倍参数”就一定能再获得一次智能跃迁。

数据分布不变、任务类型不变的情况下,继续扩大规模带来的收益是边际递减的,甚至可能停在某个平台期。这也是 2026 年很多团队把目光从“无脑堆规模”转向“数据结构优化、推理期计算增强、评测方式重构”的原因。接下来四个维度,其实就是生产链路中决定“智能能否兑现”的四大环节。

2. 第一维度 预训练:规模只是必要条件,数据配比才是“催熟剂”

2.1 Scaling Law 的玻璃天花板与能力拐点

预训练是智能的原料车间。现在业内普遍接受的缩放规律(Scaling Law)告诉我们:在参数、数据量、算力三者同步扩展的情况下,模型损失会按照幂律下降——也就是说,训练得越多、数据喂得越多、参数放得越大,损失预测得越准。这个规律本身就是“涌现”背后的底层驱动之一:loss 和下游能力不是线性关系,很多能力在 loss 降到某个阈值以下时才被解锁。

这里有个经常被忽略的细节:Scaling Law 有一个“玻璃天花板”。如果数据只是重复堆叠,参数上去之后,收益就会骤降;真正驱动 loss 继续下探的,是高质量数据的加入,尤其是代码、数学、科学文献这类高结构化语料。我见过不止一个团队在扩充数据时只盯着“量”而忽略了“结构复杂度”,结果模型规模提上去了,逻辑推理能力却纹丝不动,问题就出在语料结构多样性不足。

2.2 代码与数学语料:为什么它们是涌现的“催化剂”

所有预训练语料并非等价。普通网页文本的训练价值,远不如代码和高阶推理类文本。原因在于:代码有严格的语法结构、清晰的依赖关系,训练模型理解代码时,实际上是在训练它建立“长距离依赖”能力——一个变量的定义可能在几千个 token 之外被使用,模型必须学会持续追踪这种关联。数学语料则提供了密集的推理步骤:每一步推导都有严密的因果链,模型训练时被迫在这种链式结构上反复练习。

这也解释了为什么很多前沿模型在预训练阶段会刻意加入远超互联网自然分布的代码比例,甚至把代码作为通用推理数据来用。代码不只是在教“写程序”,它本质上是一种极其接近“算法思维”的训练信号,能把 commutive 的下一代词预测变成一步步的确定性推导训练。做预训练的人如果只盯着数据规模,不关注代码/数学/结构化数据的配比,等于在做菜时只加盐不加主料。

2.3 训练动态里能提前看到的信号

预训练过程中并非全程无迹可寻。在实际训练日志中,loss 曲线会出现长时间的平台期,然后突然下降——这种现象往往伴随着优化器找到了更优的解空间区域,也常常是下游能力将要跃迁的“前兆信号”。如果你在监控训练时看到 loss plateau 后突然下探,可以先备份一个 checkpoint,因为这一阶段的模型能力可能有一个肉眼可见的跳跃。

我做模型评测的习惯是:不只在训练结束时做一次 final eval,而是每个阶段 checkpoint 都跑一遍轻量评测集。这样做的价值在于,你能把“loss 突降”和“能力涌现”在时间轴上对应起来,从而更准确地判断当前 data recipe 和规模配置是否踩在了正确的斜率上。如果稳健训练了十万步,loss 降了,下游能力纹丝不动,那大概率是数据或模型结构有问题,不是“还没到时候”。

3. 第二维度 适配工程:把潜力释放成可用的智能

3.1 指令微调与偏好对齐:把“会接话”变成“能办事”

预训练出来的基座模型,能力是有的,但表达方式完全不适合直接对外服务。它擅长的是续写,不是回答。一个未经适配的基座模型,你问它“帮我写一封请假邮件”,它大概率会接着你的话继续编对话场景,而不是直接给你一封邮件正文。指令微调(Instruction Tuning)解决的就是这个问题:大量“指令-正确回执”数据,让模型学会理解人类意图,以一种更结构化的方式输出。

偏好对齐(RLHF 这类方法)在这个基础上更进一步,它让模型学会什么回答“更稳更好用”,而不是仅仅“最可能”。我自己理解,基座模型在做的是预测“最可能的下一 token”,而偏好对齐做的是预测“最能让人满意的下一 token”——这两者在生产中的差异非常巨大。没有对齐的模型,就像一台性能怪兽但方向盘失灵的跑车;空有马力,不敢上路。

3.2 推理时扩展:把智能成本从中训练挪到推理侧

2026 年回看,适配工程里最重要、也最颠覆既有认知的变化,是“推理时扩展”概念的兴起。以前大家默认,想让模型更聪明,只能花巨额成本重新预训练或全量微调。但现在出现了另一条路:在推理阶段给模型更多的“思考时间”,让它先生成若干草稿、自我校验、逐步修错,再给出最终答案。这条路线把原本必须靠“更大参数量”换来的智能,部分转移到了“更多推理计算”上去。

这个思路在生产上的意义非常直接:一个中等规模的模型,加上推理时扩展机制,在很多复杂任务上可以追平甚至超过一个参数高出一个量级但不做扩展的模型,而推理算力成本远低于重训一个模型的成本。现在很多产品已经用上了这种“慢思考”模式,用户体感接近一个“会先打草稿再回答”的聪明人。我建议做应用层的人,优先评估自己的场景适不适合用推理时扩展,而不是一上来就想着换更大的基座。

3.3 轻量微调在生产中的价值:高频试错优先于一步到位

聊适配工程,不能回避 LoRA 这类参数高效微调方法在生产中的价值。很多人觉得 LoRA 只是为了省显存、降训练成本,这是理解窄了。它在生产上的真正价值,是让“试错”变得足够便宜,从而可以高频迭代。全量微调一次的成本代价极高,团队每次改数据都要重大决策,LoRA 让适配变成一种可以周级甚至天级循环的日常操作。

我个人的实践经验是:新品类的业务场景,先用小批次高质量数据跑 LoRA 适配,验证数据方向和格式;确认信号正向之后,再考虑是否需要上升到全量微调或更大基座。这套工作流帮你避免最常见的坑——在错误的数据方向上,用昂贵的代价走到黑。成本是适配工程的显性变量,数据方向验证速度才是隐性核心变量。

4. 第三维度 利用层设计:用户感知到的“智能”藏在这里

4.1 上下文工程:同一个模型,两种完全不同的体感

聊完训练和适配,可能有人会觉得:模型决定一切。实际做产品的人都知道,真正拉开体验差距的,往往在利用层——模型能力装在什么盒子里,用户就感受到什么级别的智能。上下文工程是这里面成本最低、见效最快的一环,包括提示词结构、少样本示例、思维链引导、系统指令设计等。

同一个模型,你直接问它“分析这份财务报表”,它可能只会给出数段正确但无结构的话;你把指令改成“请按‘收入结构—成本风险—现金流压力—行动建议’四段式输出,先给结论再给依据”,它给出的回答看起来就像换了一个模型。这不是玄学,而是上下文让模型从庞大的能力库里精准挑选了合适的输出策略。我在几乎所有业务项目里,都会要求团队把上下文工程当作第一优先级,模型换不换后面再说,先把提示词揉透。

4.2 外部记忆与工具调用:给模型装“手和脚”

模型再大,知识也有截止日期;模型再强,它也只是“会思考”,不会“会做事”。检索增强生成(RAG)解决的是知识时效与领域专业化的问题——把私有知识库切成片段、向量化、检索相关段落、拼进上下文,让模型在回答问题时有据可依。工具调用解决的是“手脚”问题:让模型生成结构化的函数调用指令,去查数据库、调接口、算公式、发指令,把能力从“口头表达”延伸到“实际执行”。

这两个机制是现代 LLM 生产系统里最核心的“能力扩展器”。我的经验是,RAG 的效果瓶颈往往不在模型而在于切片策略和检索质量,同样的知识库,切片大小差一倍,答案准确率能差好几个档次。工具调用则更考验设计的确定性:函数的参数定义、错误返回、超时处理,都要收敛到模型最容易理解和生成的形式,不然模型就会在真实的调用场景里花样百出。

4.3 智能体的生产化:下一个瓶颈不是模型而是可靠性

当模型有了上下文工程、外部记忆和工具调用能力,把三者组合起来,就形成了一种新的生产形态——智能体。它可以理解目标、拆解步骤、调用工具、根据中间结果调整下一步。这个形态之所以在利用层意义重大,是因为它把 LLM 从“一问一答”的对话工具,变成了能自主完成多步任务的执行单元。

但我也想泼一盆冷水:智能体在生产中的最大瓶颈不是模型不够聪明,而是可靠性不够。多步任务里,每一步都有出错概率,五步任务哪怕单步准确率 95%,整体成功率也只有约 77%。所以做智能体生产落地,真正要投入精力的不是“让模型更会规划”,而是搭建检查、回滚、重试、人工介入的机制。模型负责“想”,外围系统负责“兜底”——这是 2026 年做 Agent 工程的人普遍接受的设计哲学。

5. 第四维度 评估体系:你怎么测量“智能”,就看到什么样的“智能”

5.1 基准饱和与数据污染:分数上涨不等于能力上涨

最后这个维度,往往决定前三个维度的工作是否被正确认知。评估体系的第一个坑是基准饱和:公共评测集上的高分不见得代表真能力强。前沿模型在很多传统基准上已经冲到 95% 以上,这些题目对它们来说已经不能构成“挑战”,继续用它们来评估新一代模型,就像用小学题测大学生,分数只有区分能力的下限意义。

更严重的问题是数据污染。公开评测集的大量题目实际上可能存在于训练语料中,模型在做这些题时不一定是在“推理”,而是在“回忆”。我在实际项目里做过一个简单测试:把同一道数学题的题干换了人名和具体数字,模型的准确率立刻掉一大截——这说明它记住的不是解题逻辑,而是原题。所以评估不要迷信公开分数,至少要搭建一份与训练语料隔离的、定期轮换的内部私有集。

5.2 涌现的测量假象:阶跃贡献了惊异度,但看重它会误导预算

回到本文最开头的问题——为什么规模突破后突然涌现智能?前面讲“测量误差”时我们留了一个伏笔,这里展开。用二值准确率评估时,优等生从 49% 到 51% 的细微进步会被标签为“0 到 1”的阶跃,因为在多数模板里 49% 和 51% 都显示为“没有达标/达标”。而如果用连续指标,比如对数损失,你会发现能力其实一直在平滑提升。这意味着,我们在排行榜上看到的很多“涌现时刻”,是评价格式制造出来的视觉突变。

这个影响在实际决策中很要命。“突然涌现”的叙事很容易让管理层产生“再堆一次规模就能再次触发奇点”的错觉,进而追加巨额算力预算。冷静的评估方式应该是双轨并行:连续指标看趋势,离散指标看达标线;两条线结合,才能判断能力到底是突变还是渐变。这样做预算决策时,才不会被涌现的视觉冲击带偏。

5.3 生产环境评估:离线评测合格,不代表线上会及格

再补充一个评估维度里的高频实战问题:离线评测和线上表现之间的鸿沟。离线评测用一个固定测试集来算分数,但线上用户的输入分布是动态的、多样的、甚至带着噪声。我见过很多团队,内部评测集上表现优异,一上线就被用户反馈“低能”。原因很简单:离线数据再干净,也模拟不了真实业务里那些模糊指令、混合意图和反常识提问。

所以生产环境评估必须包含在线闭环:线上 A/B 测试、用户反馈采样、失败案例定期复盘。评估的时间维度上,短期的离线分数告诉你“模型能力边界”,长期的在线上数据告诉你“产品体验价值”。两者都做,评估体系才算完整。2026 年的共识是:评估不再是训练结束后的一个环节,而是覆盖整个生产链路的持续动作,从预训练 checkpoint 到上线后的每一次更新都要有对应的评估口径。

5.4 站在 2026 年回看:四个维度不是四个阶段,而是一张网

如果只让我总结一句话:预训练决定能力上限,适配决定能力能否被按需释放,利用决定用户实际感受到多少智能,评估决定我们如何判断这一切是否值得持续投入。它们不是先后串行的流水线,而是一张互相反馈的网。预训练数据的结构调整,会让适配更容易成功;适配方式的创新,会反过来影响预训练的数据配比策略;利用层的上下文设计,会暴露新的评估盲区;评估发现的能力缺口,又会驱动新一轮预训练迭代。

我 2026 年做项目决策时,已经很少只讨论“换个更大的模型”这种单一变量了。更多时候,我在四个维度上同时找杠杆:数据配比能不能优化?适配方式要不要加入推理时扩展?上下文和工具调用是不是还有优化空间?测评集是不是需要换一批更能区分真实能力的题?把这些杠杆同时拧动一点,整体系统能力的提升往往比单点狂堆更可观。这也是这篇文章最想传达的一个实际心得:所谓“智能”,从来都不是模型单方面的事。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进