OpenAI的ChatGPT、o1推理模型、o3 Agent模型等展示了AI从生成内容到执行任务的转变。文章通过40页PPT回顾了大模型和AI Agent的发展历程指出支撑它们持续发展的共同逻辑在于任务统一和大规模数据训练。大模型通过Next-Token Prediction实现通用能力而AI Agent则具备自主理解、规划和工具调用能力。未来AI Agent将朝着持续学习和主动Agent的方向发展并可能在社会智能阶段实现更高级的人机协作。OpenAI最近半年有点拉胯但回头梳理这一轮AI进展时我们还是得用它发布的产品和模型做线索。22年底的ChatGPT第一次让大模型成为普通人可以直接使用的通用能力24年9月会自己思考的推理模型o1、25年初会自动调用工具的Agent模型o3、以及Deep Research等AI Agent应用我们看到了重心从“生成内容”逐渐转向“执行任务”。这篇文章用40页PPT我们一起回顾大模型和AI Agent的发展尝试找到支撑它们持续发展的共同逻辑。大模型从“专用”到“通用”大模型前AI的关键词是“专用”。以中英翻译为例早期的知识工程方法需要翻译专家手工编写一条条规则传统机器学习方法需要基于双语语料学习条件概率传统深度学习如BERT虽然引入了预训练但仍需要针对每个任务进行微调。ChatGPT让我们看到了通用性的可能同时完成问答、摘要、几十种语言的翻译以及风格化写作等多种任务。实现这种通用性的主要原因是任务被统一了。大模型之前自然语言处理借鉴计算语言学把复杂任务拆解为一系列中间任务。比如传统对话系统分为问题理解、对话管理和回复生成三个模块问题理解模块又会继续拆解为分词、词性标注、句法分析、命名实体识别等多个中间任务。ChatGPT将整个对话过程统一成了Next-Token Prediction把前面的对话内容当作context一步一步地做“词语接龙”猜下一个最合适的词。为什么预测下一个词就可以获得通用的能力比如“This teriible movie was really boring”这句话要准确预测boring这个词模型需要理解terrible和boring之间的语义关联这实际涉及到了情感识别的能力。后面两个例子一个需要根据前面的数值关系推算出正确结果本质上是代数运算另一个则需要逻辑推理能力。实现Next-Token Prediction所需要的这种token和token之间的关系是通过一种叫自注意力的机制来实现的。Transformer的核心就是一层层的自注意力矩阵而 GPT 本质上是 Transformer 的一个解码器版本。所谓的预训练是指给定上文模型通过这些自注意力层前向计算去预测下一个词如果预测错了就产生一个损失用来反向更新模型参数。这个过程在海量语料上进行直到尽可能多的token都被正确预测训练结束。就是这样一个朴素的Next-Token Prediction过程当放到整个互联网规模的数据上去做时大力出奇迹量变产生了质变。可以说今天大模型的出现来自我们每一个人的贡献过去二十年互联网所积累的数据远远超过了人类历史上此前所有可记录信息的总和。大模型训练用了多少数据量从2018年的GPT-1到2020年的GPT-3训练数据量和模型容量都呈超指数级增长。GPT-3用了约1万亿1Ttoken进行训练相当于一亿本百万字的小说。它包含1750亿个参数。作为对比人脑有860亿个神经元但模型参数更像是神经元之间的连接人脑这个连接的数量是百万亿。所以今天大模型的复杂程度还只相当于昆虫的级别距离人类大脑还有几个数量级上的差距。这一轮scaling的背后其实对应着 AI 研究中一个著名的经验总结苦涩的教训The Bitter Lesson。长期以来研究人员把大量精力用于精细改进算法上希望通过复杂的模型设计把loss再压低一点点。但随着算力、数据等资源的持续增长比起在算法上做微小改进不如增加一个横轴简单、通用的算法只要不断扩大资源规模就可以获得更显著的loss下降。于是重心从算法变成了能让scaling跑起来的工程化实现也就是实现向坐标轴右侧的移动。这几年的大模型训练像是人类历史上的又一次伟大工程实践是系统性组织、资源整合和工程能力的集中体现。当然工程中也蕴含了算法在数据配比、模型结构规模选择等关键环节需要通过对scaling law的研究来指导工程实现。GPT-3早在2020年就训练好了但当时只有研究人员和少量极客使用因为它通过预训练只学到了“词语接龙”的能力。ChatGPT在GPT预训练的基础上增加了让模型能“听懂人话”的后训练。预训练像是天才儿童背书把图书馆的书都死记硬背了但还没和世界真正互动过很难执行任务。后训练包含两个阶段第一阶段像是练习做题相当于通识教育阶段老师给出有标准答案的问题模型学习理解问题、并给出正确答案。当模型能听懂问题也能自己做题后进入第二阶段的“实战”类似研究生阶段导师给课题往往没有标准答案模型需要自己探索人类根据经验和偏好进行评估和引导。2024年春节的Sora是从语言走向多模态的一个标志事件。语言因为数据易获取且信息密度高成为了Next-Token Prediction最先成功的低垂果实。OpenAI内部当时应该有多条路线在同时尝试通往AGI从iGPT到Sora是其中的一条多模态、尤其是视觉为核心的路线这从Sora发布时自称“世界模拟器”也能看出来。但随着Sam Altman对应用的强调和此后o1推理模型的推出这一路线的优先级下降Sora也停留在了视频生成应用的层面。视觉本身包含的信息量远高于语言。但多模态大模型长期依赖语言作为“脚手架”始终没有完全摆脱语言监督的限制也还没能真正实现自己的scaling law。如果对这一点感兴趣可以参考前Sora 负责人Aditya在2024年智源大会的报告“Language as the Scaffolding for Visual Intelligence”。多模态大模型的另一个标志事件是2024年5月发布的GPT-4o大幅提升了语音自然交互的能力此前需要依次完成语音识别、自然语言对话、语音合成的三步流程合并为端到端的一步。这和ChatGPT替代传统对话系统一样用一个“通用”的模型取代由多个中间任务拼接而成的pipeline。站在这些模型背后的“那个男人”是OpenAI的首席科学家Ilya Sutskever。这个名字在AI发展的多个重要节点反复出现2012年他是AlexNex的第二作者也被普遍认为是核心方法的主要提出者开了深度学习2016年作为DeepMind团队之外唯一的AlphaGo核心成员让机器在极端复杂决策的问题上超越人类。Ilya也是2023年底OpenAI“宫斗”事件的主要发起者并最终在2024年5月从OpenAI离职.值得注意的是在他离职后2024年9月推出的o1推理模型仍然把他列为核心贡献者Foundational Contributors。正是这一模型开启了AI Agent的时代。AI Agent从“工具”到“工具的使用者”大模型出现之前AI的定位是“专用工具”。无论是专家系统、传统机器学习还是早期的深度学习都依赖专业界面和明确指令解决的是边界清晰的专用任务。在这种模式下AI 与历史上此前技术革命没有本质区别始终是被人类调用的工具比如在 Photoshop 中进行交互式抠图。大模型带来了通用任务能力和自然语言交互界面使AI成为人机协作的Co-Pilot人给出明确指令AI 按步骤执行。比如GPT-4o根据自然语言完成生成、抠图或风格迁移。但在这一阶段仍然是是人指挥一步AI执行一步。除了内容理解和生成的感知能力模型逐步具备了任务规划、工具使用和记忆的认知决策和行动能力。AI 开始能够直接理解目标导向的高层需求。例如提出“为新产品设计海报并发布到小红书”Manus 可以自主拆解任务、调用工具或其他 Agent 来完成子任务。在这一阶段AI 从副驾驶走向主驾驶Auto-Pilot也就是 AI Agent。按 OpenAI 的定义AI Agent 是具备自主理解、规划、记忆和工具调用能力能够自动完成复杂任务的系统。从 Agent 这个概念本身来看哲学和AI领域有不同定义。这里我们只采用技术层面的定义关注自主性、反应性和交互性不讨论尚未形成共识的意识等问题。实际上Agent一直是AI发展的核心概念。从技术路径看先后经历了基于规则和基于强化学习两个阶段。AlphaGo以及OpenAI早期的游戏Agent依赖强化学习在单一任务、封闭环境中超过了人类的水平。今天的AI Agent建立在预训练大模型之上通过预训练获得了世界知识先验并以自然语言作为统一的任务接口从而突破了纯强化学习方法在泛化性和通用性上的限制。从行为发起方式看AI Agent 又可以分为被动响应人类需求的 Autonomous Agent智能代理以及具备更强主动性和类人格特征的 Generative Agent社会智能体。下面我们主要关注前者-智能代理的发展。当前AI Agent主要有两类应用操作型Agent更像“眼和手”擅长与环境交互和执行操作适用于重复性强、操作密集的自动化任务信息型Agent是“大脑”擅长信息检索、知识整合和复杂分析适用于知识密集型任务。在实现方式上目前主要有三种GUI Agent、API Agent 和Agent-to-Agent。豆包手机采取的是GUI Agent的方案通过多模态能力模拟人与GUI的交互。优点是通用性好让AI在不改变现有应用生态的情况下完成任务缺点是对模型能力要求较高对于复杂指令执行效率低。相比起来API Agent直接调用应用后台接口执行效率高但前提是需要打通应用和Agent之间的协作通道。Agent-to-Agent是当前阶段一种可能的折衷方案由系统级 Agent 负责理解目标与规划再调用各类垂直App Agent执行具体任务在一定程度上兼顾通用性与效率。从长期看GUI Agent 和 API Agent 代表了两条不同的发展思路。GUI Agent 的核心思想是让AI适应人类已经存在的数字世界对应看人形机器人是让AI适应人类的物理世界。相比物理世界数字世界更容易被改造。因此API Agent走的是另一条路径为AI构建一个原生世界包括为AI设计的工具、接口和通信方式从而摆脱对人类界面的依赖。过去三年在AI Agent核心能力获取和应用构建上我们看到了类似的从基于外部工作流向模型原生(model-native)发展的趋势。核心能力层面任务规划早期依赖类似 Chain-of-ThoughtCoT的提示词来“触发”在o1、R1这类推理模型中规划过程以内生方式由模型直接生成工具使用从系统层的硬编码工作流、基于ReAct的提示词驱动逐步发展到o3等模型中作为原生能力出现记忆管理从以RAG为代表的外部检索机制发展到像MEM1、MemAct等将记忆视为模型策略中一种特殊行为的方案。应用层面GUI Agent在2024年主要依赖闭源多模态模型外部Agent框架2025年从UI-TARS开始将感知、决策和操作等关键能力内化到模型中Deep Research Agent也从谷歌早期高度依赖工作流发展到OpenAI率先将核心环节模型化大幅提升了长程规划能力和调研深度。以工具使用为例可以用几个不太严谨的类比来理解模型原生的潜在优势。基于外部工作流的工具使用包括类似Coze的可视化编辑系统流程的硬工作流和ReAct在提示词中加入“思考(Reasoning)-行动(Action)-观测(Observation)“循环的例子来引导的软工作流。硬工作流有点像《水浒传》里潘金莲喂药的固定脚本作为执行环节的大模型就像被喂药的武大郎别无选择只能完全遵从。软工作流稍微灵活一些更像《西游记》里最后一难过通天河时观音给老鼋的指令。是否遵从指令要结合执行时的具体上下文由老鼋自己决定。模型原生的方法大致可以分两种生成式原生和端到端原生。第一种生成式原生的代表是推理模型之后的做法比如Manus先用模型原生的推理能力做任务分解与规划生成一个结构化行动计划再结合每一步观测到的局部上下文逐步调用工具或子Agent去执行。对应的例子是《三国演义》里的周瑜有强大的推理能力可以自主规划。但受限于能观测到的信息因此可能成功如赤壁之战的苦肉计也可能因为信息不完备而翻车入赔了夫人又折兵。第二种端到端原生更进一步像o3这类模型在大量“多轮思考-工具调用”的任务轨迹上训练让模型在思考过程中自己决定何时、如何调用工具。这可以用诸葛亮的“隆中对“来理解。诸葛亮在出山之前已经为刘备推演了天下未来数十年的走向。因此在执行时能结合推演和终局做出最优的规划和决策。面向任务目标对模型的规划和工作调用行为进行端到端优化。模型在规划和执行时由于面向任务目标进行了训练是基于全局上下文的就好像能“看”到未来。前面我们用Next-Token Prediction(NTP)解释了为什么大模型预训练能够获得通用能力。同样的视角也可以用来理解模型原生AI Agent的能力来源。核心在于规划、工具使用和记忆管理能力的内化训练本质上是在优化一种“广义的 Next-Token Prediction”。在 AI Agent 场景中被预测的“序列”不再只是自然语言 token还有plan/subgoal规划序列tool-call工具调用序列状态的控制与更新记忆管理序列当这些能力被统一为token序列预测目标它们就自然继承了NTP所带来的scaling特性。从更抽象的角度看LLM 的预训练通过实现序列预测学习到的是一个通用的序列生成图灵机模型原生 AI Agent 的训练通过对“任务完成过程中交互序列”的预测学习到的是一个通用的序列交互图灵机。关于Next-Token Prediction与学习图灵机的关系以及为什么它可以scaling的理论基础下一部分我们从计算信息学的角度做一个简单理解。Next-Token Prediction的计算信息学视角2024年的诺贝尔物理学奖颁给了Hopfield和Hinton奖励他们将物理思想和方法应用于机器学习。但从物理学的角度更长远的意义可能是: 他们为”从信息的角度建模和理解世界“提供了一条可行的路径。经典物理在宏观尺度上用物体、力和运动来理解世界量子物理在微观尺度上将世界还原为粒子、波函数与场的相互作用信息物理学则尝试从信息与计算的视角对物质、能量乃至时空结构进行统一刻画和解释。信息最早被香农定义用来描述通信系统中信号的编码和传输但很快人们发现信息熵公式与玻尔兹曼的热力学熵公式惊人的相似。惠勒则进一步提出了“It from Bit”物理世界中的一切“存在”It粒子、场、时空结构都源于一系列基本的“是/否”选择Bit。信息可能与质量、能量等一样是物理世界的一种基本属性而且或许是更底层的描述语言。如果说香农定义了信息的度量图灵则划定了信息在资源无限的理想条件下这种预测过程可以逼近最优的计算装置也就是最优的图灵机。因此Next-Token Prediction之所以能持续scaling是有理论依据的它同时解释了仅通过不断scale up数据、模型和算力就可能逐步逼近通用智能。Ilya在2023年8月的一次报告中首次讨论了大模型训练与所罗门诺夫归纳之间的关系。可以认为基于Next-Token Prediction的大模型预训练是对所罗门诺夫归纳的工程化实现在有限资源约束下对“最优可计算装置”的持续逼近。[从计算理论看语言模型的scaling law和多模态模型的发展]Ilya在 2016 年找到了二者的关联从而坚定了Next-Token Prediction的技术路线和scale up的信仰。当Transformer架构出现后IIya认为这就是他所需要的进行scale的工具于是在OpenAI推动了算法工程化和工程算法化的范式变革进而带来了今天GPT系列和大模型的成功。回顾这条时间线图灵在1936年提出了图灵机作为最广义的计算装置所罗门诺夫在1964年完成了所罗门诺夫归纳的证明给出了最广义的学习方式直到快60年后Ilya才在GPT-3中通过对大模型的大规模Next-Token Prediction训练第一次在工程层面实现了这一思想。在处处谈scaling law和大模型原生的今天2个时代、甚至3个时代前的AI人和AI方法已经被认为过时了。但如《人工智能简史》的作者所说的“理论不是落后于实践而是太超前了”。[人物 | 所罗门诺夫大语言模型的先知]“酒还是陈的香”也许是我们还不够老还没有学会到更早的经典理论中去寻找指导。万一可以找到另一个大模型的第一性原理呢2026持续学习和主动Agent2026年初的AI领域依然热闹、也依然浮躁。噪音之中我们尝试寻找信号。第一个信号和Ilya时隔一年多再次接受采访中的一句话有关“我们正在从 scaling 的时代进入 research 的时代”。他所说的research可能是什么回答这个问题需要先看看我们已经经历了哪些research-scaling循环让我们回到“从算力到智能的 Sweet Lesson”。过去十年算力规模提升了百万倍。当算力成为主要的推动因素后AI发展的一条核心线索是如何把越来越多的算力以尽可能高的效率转化为智能的提升。这一过程大致经历了算法和数据两个阶段。早期从SVM到DNN再到Transformer是在算法侧消化算力让模型能够在大规模数据上训练更大的参数规模到Transformer已基本收敛了。接下来要解决的是如何提供源源不断的数据。这包括了预训练基于自监督学习可以吃掉整个互联网的数据以及后训练通过强化学习将算力转化为高质量的合成数据。所以大模型和AI Agent的发展已经经历了两轮的research-scaling循环Transformer和自回归语言模型的research带来的大规模预训练的scaling以及大语言模型强化学习的research带来后训练数据的scaling。Ilya 所说的新的“research 时代”正是重新打开下一轮scaling空间的关键问题。这个问题的答案很可能是Hassabis也在多个场合提到的“AGI实现之前需要解决的几个核心问题”之一的“持续学习”(continual/self-evolving learning)。这意味着模型参数不再是离线训练后就是静态的而是可以在推断的过程中持续更新实现“越用越聪明“。相比后训练在“模拟经验”数据上scaling持续学习是把执行任务过程中的真实经验数据沉淀、内化为模型能力实现真正的test-time scaling。[模型原生的智能体记忆存算一体持续学习]Google的Nested Learning工作和NVIDIA的TTT-E2E是这个方向最近值得关注的工作。这里还有一个问题预训练的scaling我们已经可以放在NTP的理论框架下解释。后训练RL的scaling以及接下来可能实现的持续学习的scaling是否也存在类似的理论解释直观感觉后训练和持续学习也是在做某种NTP只是学习分布和学习方式发生了变化。在后训练阶段模型不仅拟合观测到的数据分布而通过模拟环境中的离线主动交互筛选出高奖励的轨迹本质上是在一种奖励约束的特定分布上进行 NTP将高价值的任务执行路径压缩到模型参数里。在持续学习阶段模型可以看成在真实世界的非平稳分布上进行NTP通过在线主动交互持续捕捉环境的动态变化应对失效的静态预训练知识。期待可以看到进一步的理论研究讨论NTP能够作为统一的视角解释从预训练、到强化学习、再到持续学习的 scaling 行为以及这些路径的能力边界在哪里。第二个信号让我们把视角进一步拉高从生物智能的演化中寻找线索。马毅老师提出了智能演化的四阶段路径物种智能 - 个体智能 - 社会智能 - 机器智能将机器智能作为前三阶段自然演化智能的延续。智能本质上是相通的。如果将机器智能看作一种新的智能形式它的演化很可能会重复生物智能的物种-个体-社会三阶段路径。我们看到机器智能的发展有很多和生物智能相似的地方。 [AI Agent 的发展能力、技术架构和软硬件形态]首先驱动生物智能进化背后的是能量供给的增长对应了前面讨论的机器智能提升背后的算力增长。这包括了指令式计算阶段的摩尔定律和智能计算阶段的规模定律。从物种智能进入个体智能阶段生物智能和机器智能的发展重心都从“硬件”转向了“软件”。生物智能方面由基因决定的物种级生理结构进化速度放缓转向以学习和经验驱动的个体智能发展。机器智能方面则对应了前面讨论的从算法到数据过渡的算力-智能阶段在基于Transformer的模型算法架构成熟和稳定后机器智能的提升主要来源于数据和经验。进一步进入社会智能阶段AI Agent将从被动的智能代理转变为主动的社会智能体。智能代理以完成人类指定的任务为目标社会智能体则是具备身份、信用、价值交换能力成为社会主体之一可以基于社会身份自主设定目标和发起任务。人机关系将经历类似生物智能后工业革命时代从“人主导、机器辅助”human-in-the-loop到“人监督、机器执行” (human-on-the-loop)再到某些场景下由 AI 按需调用人类能力的“机器主导、人辅助”human-on-demand的转变。根据乔布斯在40年前总结的“在越来越高的抽象级别上使用计算机”的规律我们现在已经经历了从机器码与高级语言阶段的how to do到大模型阶段的what to do再到当下 AI Agent 阶段的what I want。社会智能体将继续在更高的抽象层级上满足人类需求。当需求进一步抽象甚至可以被表达为一种“角色”who you are。这种模式下人授权机器在某个角色身份下自主决策和行动机器可以主动发起行为、持续与环境互动甚至在必要时反过来向人类指派任务。因此大模型与 AI Agent 的发展不仅是一场技术变革更是一场深层次的社会变革。2026 年随着越来越多AI Agent形态的应用落地技术-应用鸿沟正在被逐渐填平社会层面的影响也将开始显现。从“只给建议”的聊天机器人到能“把事情做完”的Manus这种转变尚未被完全适应但从被动响应走向主动行动的Clawdbot已经呼啸而来。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取