最近两天，AI圈里最值得琢磨的一件事，是某家头部实验室一口气放出了722份数学手稿。消息出来的时候，很多人的注意力都放在“AI能证明数学定理了”这个光环上，但真正让我坐直身子的，是配在这批手稿旁边的那句话：AI的下一道门槛，是可验证的证据。
如果你一直在关注大模型在数学上的表现，就会知道这个说法有多精准。过去一两年里，大模型在各种奥数题、竞赛题上的得分一路飙升，表面看像在变聪明，可你要是把它的解题过程拉出来看，会发现相当一部分推理链条是“自己骗自己”——每一步单独看都能说通，连起来之后结论却根本站不住。数学被很多人称为AI的“正直试验场”，原因恰恰就在这：答案可以用许多种方式被蒙对或被编出来，但一份可验证的证明过程不行。
这篇文章我想抛开那些“AI又刷榜了”的营销式报道，认真拆一下这批手稿到底意味着什么、可验证的数学证据在技术上是怎么做出来的、以及我们离“可信AI”还有多远。对搞大模型、做算法评估、或者纯粹对AI推理能力感兴趣的人来说，这里面有很多值得抄作业的细节。
1. 拆解722份数学手稿：AI正在从“答对题”转向“给出证据”
1.1 722份手稿不是722道题的答案
先说一个最容易误解的地方：这批手稿并不是AI做完722道数学题之后输出的标准答案，而是AI在数学推导过程中逐步生成的“工作记录”——包括条件假设、中间引理、推导步骤、反例构造、甚至某几步走弯路的尝试。换句话讲，它更像一个数学系研究生交上来的草稿纸，而不是考试卷上的ABCD。
为什么这么设计？因为答案本身的信息量极低。一道题你给AI做，它输出个“42”，你怎么知道它是真算出来了还是蒙的？哪怕它输出了一整段LaTeX公式，也不代表逻辑链是完整的。而手稿的意义在于：它把AI思考的过程暴露出来，让第三方可以逐条核验每一段推导是否合法、每一个引理是否被正确引用、每一个中间结论是否有支撑。换句话说，这批手稿不是在展示“AI多聪明”，而是在展示“AI的聪明是可以检查的”。
这才是这次发布真正值得关注的地方。它把讨论焦点从“模型能不能做到”拉到了“模型能不能为自己的结论负责”。某个结论再漂亮，如果拿不出可复现的证据链，那它在大模型的世界里就只是一个脆弱的字符串。
1.2 “可验证”三个字，把AI的问题分成了两种
顺着这个思路往下想，你会发现“可验证”这个要求，实际上把AI当前面临的困境切成了两个完全不同的问题：
一种是低风险场景里的“看起来对”。比如让你写一段电商文案、做一份PPT大纲、翻译一封邮件，AI输出够不够好，你肉眼扫一遍基本能判断。这种任务走的是“整体风格一致”的路线，错了也顶多改改字，代价很低。
另一种是高价值场景里的“必须能证明”。比如数学定理、代码正确性、医疗用药建议、金融风控决策。这些场景里，结论本身再漂亮都不可靠，关键是结论能不能被复核、被追溯、被独立确认。医疗上叫循证，代码上叫形式化验证，数学上叫证明。这批手稿要解决的，正是后一种问题。
过去我们总抱怨大模型会幻觉、胡说八道，本质上就是模型只学会了“生成像样的字符串”，而没有学会“生成可被验证的字符串”。现在这批手稿等于给行业树了一个靶子：如果有一天，AI产出的大多数内容都能像数学证明一样自带证据链，那么很多关于AI可信度的争论都会变得多余。
2. 从“答对题”到“给证据”，AI的证明思维是怎么长出来的
2.1 生成模型的本能是“编一个像样的答案”
要理解这次手稿为什么难度大，得先理解大模型最底层的训练逻辑。大模型本质上是一个概率预测器：给定前面所有token，它不断预测下一个token最可能是谁。这种机制决定了，它天生擅长的是“顺着语感往下续”，而不是“保证命题为真”。你让它做一道数学题，它看到的全都是人类解题文本的统计规律，所以它最自然的策略是：生成一段“在统计上很像答案”的文本。
这就像一个人从来没学过微积分，但背熟了整本习题解答。你问他“sin和cos的导数是什么”，他能脱口而出，甚至能把推导过程背得一字不差。可你要是把题目稍微变形一下、把条件藏起来，他立刻露馅。大模型早期的数学表现差，本质原因就是“背”和“证”之间的鸿沟。
真正的数学推理不是续写，而是搜索：你面对一堆积木一样的已知条件，要在庞大的逻辑空间中找出一条合法的路径连接条件和结论。每走一步都要符合推理规则，每一步又会产生新的可能性，分支数量急剧膨胀。这是纯统计模型不擅长的游戏，因为它没有“自己检查自己”的能力。
2.2 数学凭什么能当试金石
那为什么偏偏用数学来试探这道门槛？因为数学是所有学科里最“不留情面”的领域。
一个定理证明对不对，不取决于你写得是否通顺、语气是否自信、风格是否像专家，而取决于每一步推导是否符合逻辑规则。编译器、证明助手、甚至一个受过训练的大学生都能逐行核验。这种客观性是它的天然优势：你没法在数学里“讨论”出一个错误结论。相比之下，法律文书、医疗报告、政策分析这些东西，判断标准常常是灰色的，同一个证据在不同立场下可以读出不同结论，很难拿来做算法训练的自动验证。
数学给AI提供的，是一个极其干净的“奖惩信号”：对就是对，错就是错，中间没有商量余地。正是因为这种二元性，它才能成为训练和评估推理能力的最佳基准。有一说一，用数学当试金石还有一个隐藏福利：数学证明的结构是树状的、模块化的，天然适合拆解成细小步骤，这对需要逐步验证的AI系统来说非常友好。
2.3 过程监督：把裁判从“看比分”改成“看录像”
这里就引出这次手稿背后最关键的技术思路——过程监督。
传统训练大模型做数学题，最常见的方式是结果监督：看最后答案对不对，对了给正反馈，错了给负反馈。这种方式简单直接，但有一个致命漏洞：中间推理往往是错的，可最后答案碰巧蒙对了。如果你只按答案打分，模型根本没有机会学到“中间步骤也需要正确”这个教训。就像足球比赛只报比分、不播录像，输赢倒是一目了然，但你完全不知道球员在场上是怎么踢的，更没法针对某个失误做复盘。
过程监督则完全不同。它在每一步、每一个中间结论上都设置验证信号：这一步的推理合法吗？这个引理用对了吗？这个反例真的能推翻命题吗？所有中间验证结果会汇总成一条“证据链”，只有整条链都完好，模型才获得正反馈。过程监督相当于给AI配了一位裁判，在每一步都喊停查看“重放”。
为什么过程监督对数学这样有效？因为数学证明有一个特点：错误一旦出现，后面的一切都无法挽回。你从第4步开始就跑偏了，就算第5步到第100步都推得完美，整个证明依旧是废纸。结果监督永远发现不了这种“局部完美、整体错误”的坑，过程监督却能第一时间把苗头按死。这也是为什么短短一年多时间，各大团队从单纯刷答案准确率，集体转向了过程级验证——因为大家终于意识到，最后的正确率只是冰山一角，水下藏着的整个推理过程才是关键。
3. 手稿背后的技术拆解：验证器、过程监督与搜索策略
3.1 一句话解释生成器与验证器怎么配合
如果把这套系统拆开看，核心是一条双角色流水线：生成器负责“想”，验证器负责“查”。
生成器就是大模型本身，它负责根据已知条件，在每一步生成若干候选推导动作。比如这一行可以推出一个中间不等式，或者可以用反证法假设某个命题成立，候选可能有两三个甚至更多。生成器的任务不是一下子给出最终证明，而是“提供下一步的可能性”。
验证器则是另一个模型或者一套程序化规则，专门负责判断生成器给出的每一步是否合法：推理规则用对了没有，条件是否被篡改，引理是否真的适用，符号操作是否越界。它更像一个极其严格的审稿人，六亲不认，只认规则。
整条流水线的运转方式很像人类数学家在草稿纸上的工作节奏：推一步，停下来检查；检查通过，再推下一步；检查不通过，回退到上一个岔路口换一条路。不断反复，直到搜索深度足以产出完整证明。这种方式跟单纯的文本生成有本质区别：生成是“一条路走到黑”，而搜索是“走一步看一步，撞墙就回头”。
3.2 过程监督具体是怎么落地的
那过程监督落地到工程上，到底怎么操作？我见过比较主流的做法是给每一步打“过程标签”。具体来说，人工标注若干完整解题过程，把每一步标记成“正确”“错误”或“可疑”，然后用这些标注去训练一个验证器模型。训练完成后，验证器就能对任意中间步骤给出一个合理性得分，分数范围通常在0到1之间。生成器每推进一步，验证器就打一次分，低于阈值就直接剪枝。
这套流程里有一个非常核心的设计：验证器不关心最终答案是什么，只关心当前这一步“是否合法”。哪怕这条路径最终走不通，只要当前步骤本身没问题，验证器也会给高分。这种设计刻意把“步骤对”和“路径有效”分开，避免用结果去污染过程判断。
实际工程里，过程监督还经常配合搜索算法使用。生成器在前方不断扩展分支，验证器在后方逐步修剪分支，两者配合起来，就能在巨大的搜索空间里维持一个相对集中的火力。很多报告里的“证明成功率翻倍”，仔细看基本都是这种“逐步验证+剪枝搜索”的组合拳打出来的。单独的模型推理能力增长，反而没有这么夸张。
3.3 三个让人头疼的工程参数
纸上谈兵总是轻松的，实际调参时你会遇到几个躲不开的麻烦。
第一个是验证器的阈值。阈值设得高，模型容易畏手畏脚，很多正确路径在早期因为“看起来不像”被误杀；阈值设得低，垃圾步骤大量通过，搜索效率直线下降，算力消耗成倍增加。阈值本质上是一个“精密程度和覆盖程度”的权衡，没有放之四海而皆准的值，只能靠验证集反复调。
第二个是过程标注的粒度。每一步拆到什么程度才算“一步”？拆得太粗，中间隐藏的错误会被跳过；拆得太细，标注成本高得吓人，搜索步数也爆炸。目前在实践里，大家普遍倾向于拆到“一个独立的逻辑操作”为粒度，比如一次三角变换、一次不等式放缩、一次消元操作。但这个标准很难量化，更多是经验活。
第三个是生成器的采样量。每一步究竟该生成几个候选分支？候选少了，容易漏掉正确路径；候选多了，验证器忙不过来。我见过一些项目干脆采用动态策略：前几步多采样，进入稳定推导区后逐步减少，类似人类的“试探期—冲刺期”。
这三个参数相互纠缠，调起来非常容易顾此失彼。没有捷径，只能靠小规模实验先把基线跑出来，再放大到完整任务上。
4. 实操心得：复现类似“可验证证明”流程时会踩到的坑
4.1 验证器阈值不是越高越好
我在自己的小规模实验里复现过类似的验证流程，踩过的第一个坑就是阈值设置。一开始我总想着“验证严格一点总没错”，把阈值拉得很高。结果发现，生成器在搜索空间里举步维艰，每走一步都像是被审问，稍微有点创新的推导方式全被判死刑。搜索到头往往只能产出几条最保守、最笨拙的证明路径，复杂技巧完全学不会。
后来把阈值降下来，模型倒是敢尝试了，可验证器的平均分数肉眼可见地掉，很多路径走到一半就“塌了”。反复调试之后我才明白一个道理：验证器阈值真正影响的是“探索勇气”，而不是“最终质量”。合适的阈值要允许一部分看起来不那么主流、但逻辑上正确的中间步骤通过，否则再聪明的生成器也会在验证器面前变得束手束脚。
给大家一个参考做法：先在一个小型验证集上拟合验证器的分数分布，然后取分数的某个分位数作为阈值下限，而不是凭感觉拍脑袋定一个0.8或者0.9。这样至少能保证阈值和当前模型的能力匹配。另外，阈值最好随搜索深度做衰减：越往后的步骤置信度理应越高，初期则适当放宽，给探索留出空间。
4.2 小心“形式正确但语义错误”的伪证据
这是整条流程里最阴险的坑，没有之一。过程监督有一个天然盲区：它检查的往往是“步骤是否符合语法规则”，但不会实时评估“这一步在语义上是否有意义”。
举个例子，模型写了“将等式两边同时乘以0”，验证器一看，操作合法、形式对称、没有越界，直接给了高分。可实际上这一步把有用的信息全毁掉了，直接导致后续证明走入死胡同。还有一类经典伪证据是“循环论证”：你假设A，然后用A推出了A，每一步在形式上都无懈可击，但整条证据链没有任何推进力。
这种伪证据在最终完整证明里可能可以通过“全链一致性”检查被揪出来，但在过程监督的中间环节很难被及时发现。我自己的经验是：给验证器加一个辅助判断，专门检测“当前步骤是否明显降低了后续推导的可用信息量”。比如检查是否引入了冗余变量、是否消掉了关键条件、是否出现了完全等价的重复陈述。这些东西听起来很抽象，但在具体实现里可以写成离散的特征规则，和神经网络验证器互补使用。
4.3 评估指标选不好，努力全白费
最后一个实操心得和评估有关。如果你只用“最终证明成功率”来评估整个系统，那你会错过很多关键信息。
成功率高，也可能是因为生成器在套用背过的固定模板；失败率低，也可能是搜索预算太小导致根本没机会尝试正确路径。我在实践里一般会同时记录三个指标：一是完整证明通过率，也就是手稿能从头到尾验证通过的占比；二是“有效推理覆盖率”，也就是生成器在中间步骤里使用过的前提条件中，有多少真的进入了最后的证明链；三是“伪证据比例”，专门统计那些通过了过程验证、但最终证明被整体否决的中间步骤比例。
这三个指标合在一起，才能比较客观地反映系统到底是在“做证明”还是在“碰运气”。只盯着最终成功率优化，模型大概率会走捷径，而捷径恰恰是可验证性的大敌。
5. 这722份手稿，对AI行业和科研意味着什么
5.1 数学、程序验证、科研自动化可能被重写
先谈最直接的影响。如果AI生成可验证数学证明的流程真正跑通，那它在数学研究上的价值可能不是“帮人类解决几道难题”，而是把人从最繁琐的检查工作中解放出来。
我认识不少做纯数学的人，他们每天有大量时间不是花在“想定理”上，而是花在“检查别人的证明有没有问题”上。你审一篇论文，光是核查引理引用、符号定义、边界条件就要耗掉好几天。如果AI能产出一份逐行可验证的手稿，这项工作就可以被自动化流水线替代。后面等人类数学家需要做的，只剩下判断“这个定理值不值得证”和“这个引理的方向对不对”。
同样的逻辑也适用于程序验证。形式化验证长期以来卡在“证明太难写”这个问题上，一线工程师宁可多跑几轮测试，也不愿意写形式化规格。AI能自动生成可验证代码证明，可能会把形式化验证从“专家奢侈品”变成“工程标配”，这会在软件安全领域引发一轮连锁反应。
5.2 对AI安全的价值：证据是可解释性的廉价替代品
再看高一层。这722份手稿最有意思的隐喻，其实是给AI安全提供了一个新思路。
行业内长期争论一个问题：大模型到底能不能被解释？有些研究者认为模型内部是黑箱，永远无法完全理解；有些人则主张用各种可视化工具看内部激活，试图拆解它。数学证明手稿给出了一条中间路线：我们不需要完全理解模型内心在想什么，只需要要求它给出一个外部可验证的证据链。如果一个数学结论能有完整、可检查的证明，那模型内部机制对于这个结论来说，就没那么重要了。
这有点像软件工程里的“黑盒测试”。你不关心函数内部怎么实现的，只要输入输出符合规范、边界条件都覆盖到位，你就敢在系统里用它。同样的思路放在AI上：我们不需要AI在所有领域都可解释，但至少在关键决策领域，AI必须能够给出经得起独立验证的证据。这个要求如果能成为行业共识，那么“AI不透明”问题就会被大幅弱化成“AI不给出证据”。
5.3 剩余门槛和我的判断
当然，离这整套东西全面落地还有三道坎。
第一道坎是领域扩散。数学证明之所以能做过程监督，是因为它对错的判断完全客观。可现实世界大多数问题没有这种“干净信号”，比如经济预测、医疗诊断、法律判断，很多结论本身就是概率性表达，无法做成逐行验证的证明链。AI要跨过数学这道门槛，还需要重新定义“证据”在这些领域里的含义。
第二道坎是算力效率。搜索式证明方法对算力的消耗非常夸张，验证器每步都要参与打分，生成器又要维护大量候选分支。如果这玩意儿只能在头部实验室的高端算力集群上跑，那它对普通开发者的价值就很有限，更别提大规模落地了。
第三道坎是“验证信任”问题。验证器本身也是模型，你怎么保证验证器的评分是可信的？如果生成器和验证器是同一个基础模型训练出来的，那它们可能共享某些偏见，形成自说自话的闭环。目前比较稳妥的思路是让验证器使用另一套更保守的逻辑规则，或者直接使用基于规则的证明检查器，从根上规避这种风险。但规则越保守，能覆盖的问题范围越窄，这又回到覆盖率和严谨性的拉锯战。
我的判断是：这三道坎里，第三道坎最值得长期关注。可验证证据的最终价值，取决于验证者本身的可信度。我们怎么建立一套“验证器的验证器”体系，可能才是AI可信度问题真正的深水区。
最后说一点个人心得。我在围观这批手稿的时候，脑子里反复出现一个类比：过去的大模型像一位口才极佳的销售，能说会道、气场十足，但你不确定他给的承诺能不能兑现；而可验证证明流程想造的，是一位随身携带审计报告的工程师——话不多，但给出的每个结论后面都钉着一串可查的记录。这个方向让我觉得安心，因为它没有试图让模型变得更“聪明”，而是让模型变得更“可靠”。聪明是稀缺的，可靠是可以被工程化、被规模化、被系统化复制的。AI真正要跨过的下一道门槛，可能恰恰就是这种朴素的靠谱。
