ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

AI让想法变廉价,真正瓶颈是验证与判断力

AI让想法变廉价,真正瓶颈是验证与判断力

过去大家总觉得做研究、搞创作,最大的困难是"没有灵感"。可 AI 大规模进入工作流之后,我越来越觉得这句话该反过来看了:想法正在变成最不值钱的东西,你随便一句话就能让模型吐出十个研究方向,真正卡住你脖子的,是另一种能力。数学家陶哲轩有个判断我非常认同——AI 正在让"想法"变得廉价,而真正的瓶颈从未改变。这篇内容想借这个观察,聊聊 AI 辅助研究时到底发生了什么变化,为什么"验证一个想法"比"想出一个想法"重要得多,以及我们普通人可以在工作流上做什么调整。

这篇文章适合所有在用 AI 做研究、写代码、做设计、写方案的读者。不管你是不是搞数学,背后的逻辑是共通的:生成端已经被充分放大,判断端却还停留在原地,谁先补上判断力这块短板,谁才真正吃到这轮红利。

1. "想法廉价化"到底在说什么:一场发生在生产端的变革

1.1 从"灵光一现"到"批量供应"的转变

我记得很早以前做数学研究,最难熬的是对着草稿纸等灵感。一个构造想不出来,可能一整个下午就过去了。现在的局面完全不同。把问题拆解清楚之后,用 AI 生成候选思路,它能在几分钟内给出好几个切入角度。有些角度明显是平庸的,有些虽然粗糙但值得深挖,甚至偶尔会出现你根本不会往那边想的方向。

这不是比喻,实际操作就是这样的:我把自己正在做的一个组合不等式问题丢给模型,要求它给出三种不同的放缩策略。它返回了:用柯西-施瓦茨不等式做初等估计、把问题改写成积分形式处理、以及从前两项开始做递推构造。三个方向里有明显凑数的,但递推那个确实打开了一条新路子,我沿着那个方向优化了一天,就有了初步结果。放在以前,这三个方向里至少有二个需要自己想到,而"想到"这一个环节在时间成本上是不可压缩的。

1.2 一升一降之间,真正的代价转移了

当想法变得廉价,它对应的真实代价并没有消失,只是转移了。过去你的成本花在"生产想法"上,现在这部分成本接近归零,但新的成本几乎同时出现了:面对一堆候选思路,你必须决定哪个值得推进、哪个尽早放弃,这个筛选动作变成了主要消耗点。

我给你一个直观的感受:某个晚上我让 AI 生成了一组关于双曲几何中测地线性质的候选命题,它生成了 15 条。如果放在十年前,这里面任何一条都值得兴奋一场,因为自己认真想一条要花不少时间。可现在 15 条摆在你面前,我第一反应不是兴奋,而是"这里面到底哪条值得做"。每条看起来都有模有样,有的甚至附带了证明片段。但我知道,模型生成这些命题的本质是概率性的模式组合,它并不保证命题为真,甚至不保证条件完备。我必须在每一条上投入人工验证,而验证一条可能需要几小时。生成成本的下降,直接转化成了筛选成本的上升。

1.3 一个可以立刻复制的"想法工厂"流程

如果你也想把 AI 当"想法供应商"用,我强烈建议建立一套筛选流水线,不要让它只停留在聊天窗口里。我的习惯是这样的:

  1. 把研究问题写成一段完整的问题描述,包括背景、目标、已知结论和卡点。
  2. 让 AI 一次性生成不少于 5 个互异的思路或方向,并明确要求它说明每个方向的潜在风险。
  3. 每个方向用数值实验或者小规模案例做快速试错,看有没有反例。
  4. 只保留"过了初步检测"的方向,其余的全部归档到"废弃想法库",不直接丢弃。

这套流程做完,通常只会留下 1 到 2 个值得继续深挖的方向。你可能会问,为什么不让 AI 直接告诉你哪个方向最好?答案很简单:它没有能力判断。这正好引出下一个关键区别。

2. AI 擅长拼图、不擅长鉴赏:生成与评估是两种完全不同的能力

2.1 模型能"产生"思路,是因为看到了众多模式,但它不懂价值

很多人误以为 AI 能生成思路,就说明它"懂"数学。其实不是。大模型的核心能力是基于上下文做词元预测,它学习到了大量数学文献中的模式组合,所以它很擅长把"看起来合理"的内容拼凑出来。

"看起来合理"不等于"真的合理"。如果说生成一个想法是拼图,那么判断这个想法在更广框架里能不能生根,就是鉴赏。拼图只需要见过足够多的图案碎片,鉴赏却需要你理解整体结构,知道哪个碎片放在哪里会产生新的意义。模型现在最缺的就是这种全局价值判断。

2.2 数学鉴赏力由什么构成:审美、反例嗅觉与脆弱点直觉

我自己的体会是,数学上的"鉴赏力"至少包含三样东西:对结构的审美,对反例的嗅觉,以及对证明中脆弱环节的直觉。这三样有个共同点,它们都不是靠读结论就能获得的,必须靠大量亲自参与推理、反复失败才长得出来。

举个例子。对于某个中等难度的组合数学问题,我让 AI 生成三个不同的证明思路。第一个思路在核心不等式处做了一个代换,看起来很干净,但当我尝试把参数推向极端情况时,代换后的余项爆炸了,这意味着它在关键边界上站不住。第二个思路引入了一个生成函数,推导过程流畅,可到了最后一步,换元积分不收敛,整个证明在根子上就错了。只有第三个思路,虽然计算量大,但每一步都有清晰的估计余项,可以修补。这个判断过程花了我和学生一个晚上。AI 三分钟就把三个思路给了你,但你花三个小时才知道哪个能活下来。

这就是关键所在:AI 免费送给你的是"候选清单",而不是"结论清单"。如果你没有鉴赏力,面对三个思路,你甚至不知道该从哪个开始试。而鉴赏力的培养,恰恰不能外包给 AI。

2.3 怎么练这种判断力:主动做"垃圾证明"的解剖

我的方法可能有点老派:隔一段时间挑一个已经发表的定理,不看原文的证明,自己尝试从头推一遍,然后故意让推理论证在某个地方走错,观察它会在哪一步崩掉。这个"观察崩掉"的过程,就是训练直觉的过程。做多了你会形成一种特殊的敏感:看到一个证明片段,能下意识感觉到哪一步像纸糊的墙。

如果你在用 AI 辅助,我建议你用 AI 生成一些"看似正确但实际有漏洞"的证明片段,然后自己逐行找漏洞。这比做一百道标准习题管用得多。因为它模拟的正是真实研究中你最常遇到的场景:你面前摆着一个非常自信的推理,但里面隐藏着一个致命缺陷。

3. 真正的瓶颈从未改变:验证、品位和持久的执行力

3.1 把标题里那句"真正的瓶颈"拆开看看

回到陶哲轩的观点。这句话的锋芒在于后半句:真正的瓶颈从未改变。那这个瓶颈到底是什么?我理解下来至少有三个方面:第一,验证一个想法是否成立的能力;第二,判断哪个想法值得投入的品位;第三,把一个粗糙但正确的想法发展成严格论证的持久执行力。这三样东西,AI 一件都没替我们解决。

模型可以轻易生成一个猜想的候选证明路径,甚至可以生成得比大多数人更快、更流畅。但猜想到底成立不成立,还是要靠人去验证。数学验证的每一步都需要严格的逻辑关系,而大模型生成的"流畅文本"并不自带这种保证。你几乎可以把"生成的证明"理解成一份嫌疑人名单,名单列出得很容易,但定罪需要完整的证据链,证据链不会因为名单生成得快而变短。

3.2 为什么验证能力反而是"硬瓶颈"

很多人以为验证就是"检查一遍",听起来简单。但真正的数学验证包含三个层次:局部上,检查每一步推导是否有根据;整体上,确认论证链条有没有循环;边界上,测试命题在极端情形下是否退化。这三个层次都需要对问题本身有很深的理解。

最难的是第三层。很多 AI 生成的证明在小范围数值上完全正确,但当你把它们推广到无穷维度或极限情形时,就崩了。这种"边界脆弱性"很难被模型提前预料,因为它依赖你对全局结构的掌控。我自己踩过不少次这样的坑,所以现在几乎不会把 AI 给出的任何证明当作最终答案,只会当作需要严加拷问的嫌疑人。

3.3 执行力和品位的不可替代性容易被忽略

除了验证之外,执行力和品位这两个瓶颈同样重要,甚至在长期项目里比验证更致命。执行力意味着你愿意在一个模糊的方向上持续投入三周、三个月甚至更久,而不是每天都想换一个新方向。AI 的供给能力越强,你每天能想到的"新方向"就越多,这时候如果你没有足够的定力,很容易变成每天换一个方向,最终一事无成。

品位在这里的作用是"守门员"。它帮你把 90% 的平庸想法挡在门外,让你把有限的精力集中在真正可能产生突破的地方。品位差的人,在 AI 时代反而会更惨,因为他们的注意力会被更多的假机会稀释掉。想法的廉价并没有降低研究的门槛,而是抬高了筛选的门槛。

这里有一个很反直觉的结论:AI 越强大,人类研究者的直觉和品味越值钱,而不是越没用。因为判断力是稀缺的,而"生成"已经不再稀缺。

4. 研究者可以重新设计自己的工作流:IT 负责供给,人负责裁决

4.1 把 AI 当作"全天候的研究助理",而不是"自动定理证明器"

意识到"生成"和"判断"的分工之后,我彻底调整了自己的工作方式。现在 AI 在我这边几乎是一个永不疲倦的助理,它的职责是供给,不是裁决。所有裁决都留给人来完成。

具体来说,我做这么几件事:维护一个持续更新的问题库,把所有待解决问题、已知方法和失败记录写清楚;每当需要新角度时,让 AI 基于问题库生成候选方案;拿到候选后,第一时间设计快速实验来验证其中一两个核心断言;最后才把存活下来的方向正式立项。这套流程帮我节省了大量翻阅文献和试错的时间,但每个正式立项的方向仍然经过了完整的人工论证。

4.2 一个非常好用的技巧:让 AI 站到你的对立面去挑刺

在验证阶段,我特别推荐一种用法:不要只让 AI "给出证明",而是让 AI "攻击证明"。把你自己写的证明片段或者 AI 之前生成的证明丢给它,明确让它扮演一个苛刻的审稿人,专门找边界条件、失效情形和隐藏假设。

我举一个实际场景。某次数论估计问题中,我想做一个求和顺序交换。直觉告诉我可以换序,数值实验也通过了。但当我让 AI 扮演审稿人,要求它专门检查"这个换序是否需要对尾部项做一致收敛性验证"时,它立刻指出了我忽略的一个细节:当参数接近临界值时,尾部项并不一致收敛,换序不合法。我后来手动补了一个截断处理,这个问题才真正解决。

这里的要点在于:AI 不主动知道哪里是盲点,但它可以被 prompt 去扫描盲点。你把它的角色设定成攻击者,它的"找毛病"能力会比"给证明"能力强得多。这对人工验证是一个非常好的补充,但最后拍板的仍然是人。

4.3 形式化工具链的启示:把责任沉到纸面上

数学界这些年一直在推动用形式化验证工具来辅助证明。这类工具的好处是让验证变成机器可检查的,它的严谨性远超人眼阅读。虽然日常研究工作不会每个人都用,但它带来了一个非常重要的方法论启发:真正的验证需要把"纸面上成立"变成"结构上成立"。

你想一想,当一个人觉得"证明没问题"时,他依赖的是自己的直觉和经验;当他把证明输入形式化工具,机器的检查是无情的,任何隐藏假设都会被标记出来。虽然形式化验证的成本很高,但这个过程本身就在训练你更严谨地表达推理。我自己不常用形式化工具,但会借鉴它的思路:每完成一个关键论证,我会主动写下"这里用到了哪个定理,它的条件是否全部满足",这种方式能逼出很多模型不会主动告诉你的问题。

4.4 必须警惕的误区:别把"流利生成"当成"深度推理"

我见过很多同行和学生在使用 AI 辅助研究时犯同一个错误:模型的输出越流畅、语气越笃定,他们就越容易信服。这是非常危险的。大模型的自信程度与它的正确率没有可靠关系。一个论证可以写得非常流畅,同时在某一步有一个致命的类型错误。

所以我现在给自己定了一条"铁律":AI 生成的每个证明必须被当作"未经验证的候选",在它通过独立验证之前,不赋予它任何可信度。这不是不信任 AI,而恰恰是尊重它的能力边界。把它放在正确的位置上,它就能发挥价值;把它放在错误的位置上,它就会悄悄带偏你的研究方向。

5. "注意力"成了最后的硬通货:从数学延展到整个创造领域

5.1 不止数学:编程、写作、产品决策都面临同一种迁移

陶哲轩针对的是数学,但这个判断在各个领域都正在应验。写代码的时候,AI 能基于需求生成一整套函数实现,但只有程序员能判断这个实现是否真的符合业务语义,是否会在线程安全或数据一致性上出问题。写营销文案的时候,AI 能生成几十个打动人的开头,但只有了解真实用户的人才能判断哪一句能真正击中目标人群的痛点。做产品设计的时候,AI 可以列出十几个功能方向,但只有理解产品战略的人知道哪些方向应该砍掉。

这些场景共享同一个底层逻辑:生成端的成本在快速下降,判断端的成本几乎没有下降。因此,你的输出质量上限越来越取决于判断力,而不是生产速度。以前可以靠"做得多"来弥补"想得浅",以后这种策略会失效,因为做得多已经没有任何竞争壁垒,人人都在做。

5.2 如何系统训练"判断力"这个新硬通货

判断力可以训练吗?我的答案是:可以,但它需要一种反效率的方法。你必须有意识地放慢,给自己创造"慢思考"的时间块。具体来说可以参考这些做法:

  • 每天预留 30 分钟完全不用 AI,手写推导或手写设计方案,找回"自己判断结构"的感觉;
  • 每个项目结束之后,复盘"哪些想法是被筛掉后留下来的",记录当时筛选的理由,建立自己的决策档案;
  • 做"反向练习":拿到一个结论后,主动找它不成立的情形,把找反例变成习惯;
  • 给自己设置"终止标准",明确哪些信号出现后就要放弃当前方向,防止被沉没成本拖住。

这些做法的核心,是把你变成更好的"裁决者"。AI 能帮你生成更多候选,但它不能替你变得更有眼光。眼光的增长只来自你一次次自己做选择,并为选择承担后果。

5.3 我自己的体会:AI 让"开始"变得容易,也让"坚持"变得更稀缺

用 AI 辅助研究工作大半年后,我最大的心境变化是:开始一个项目从来没有这么容易过。你几乎不太会卡在"不知道从哪里下手",随便问一下模型就有思路。但也正因为此,持续做同一个项目变得比以前更难了。你会不断被新思路诱惑,觉得那条路更快、更有趣、更可能出成绩。

这种时候,真正决定研究高度的,反而是最笨拙的那种能力:坐下来验证、打磨、承认某个想法不行、再继续。它听起来一点都不性感,但在这个想法廉价的时代,它唯一稀缺的东西。我常跟来请教的学生说一句话:AI 时代,最值得培养的不是"提想法"的能力,而是"为一个值得的想法下注并长期持有"的能力。

最后分享一个小技巧:我在每篇研究笔记的第一行都会写上"我为什么认为这个方向重要",而不是"这个方向是什么"。这样每次想换方向时,都会被这句最初的判断拉回来。AI 给再多灵感,也不该代替你自己的价值主张。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进