ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

AI发展慢不是技术瓶颈,而是工程落地与预期管理的挑战

AI发展慢不是技术瓶颈,而是工程落地与预期管理的挑战

我自己做了几年AI相关的工作,从模型训练到应用落地都摸过一遍,最近经常听到一句话:“AI发展的太慢了”。说这话的人,有的是纯用户,觉得ChatGPT之后好像也没啥新鲜玩意;有的是业务方,说好的AI提效,结果接进来一堆问题;也有的是我同行,觉得大模型这技术路线走到头了。

我特别想接一句:慢?分怎么看。你要是盯着资本市场、社交媒体上的热度曲线,那AI确实“慢”了——前两年一天一个发布会,现在能稳住的产品就那么几个。但你要是盯着实际应用场景,盯着生产环境里那些跑起来的系统,你会发现AI不是慢,是它终于到了要真正干活儿的阶段。而这个阶段,本来就是最慢、最磨人、最不性感的。

这篇文章我想认真聊聊“AI发展的太慢了”这件事:到底慢在哪,哪些是技术瓶颈,哪些是落地问题,哪些其实是我们自己把预期定错了。也会结合我踩过的坑,说说今天这个阶段,真正该做的事是什么。

1. 先说结论:AI不是跑不快,是“上车的人”跟不上

1.1 我们说的“AI慢”,到底指什么

先把概念拆清楚。AI发展慢,可以有三层意思:

第一层是模型能力的提升速度变慢了。2020年到2023年,从GPT-3到GPT-4再到各路国产大模型,几乎每隔几个月就有一次肉眼可见的智商飞跃。但2024年下半年开始,各家旗舰模型的基准分数差距已经很小,用户体感更是拉不开。这层“慢”,是技术曲线的自然回落,任何技术都会经历,不丢人。

第二层是产品落地的速度变慢了。模型能力是有了,但真正能用起来的产品没那么多。很多AI应用还停留在聊天、写文案、画图这个层面,深入到业务核心流程的很少。这层“慢”,是整个行业的真实写照。

第三层是用户获得感变慢了。普通用户期待的是“AI帮我搞定一切”,但实际上大多数AI产品只能“帮我把事情做一半”。期望和现实之间的落差,让很多人觉得AI这半年一年根本没进步。

我特别想说的是,这三层“慢”,只有第一层勉强算技术问题,后面两层都是工程问题、产品问题、商业问题。而这些问题,恰恰不是靠堆算力就能解决的。

1.2 为什么“看似快”却“体感慢”

这里有个很反直觉的现象:行业内的AI从业者普遍觉得AI发展速度已经非常快了,快到一个模型从发布到被集成进生产环境,周期从过去的一两年压缩到了现在的几周。但普通用户的体感完全不是这样,因为普通用户接触的AI,其实是“被产品包装过后的AI”,而产品本身的迭代速度远赶不上底层模型的迭代速度。

打个比方:模型像是发动机,产品像是整车。发动机从1.0换到2.0,动力确实猛了,但你整车不改底盘、不改变速箱、不调悬架,直接换个发动机装上去,开起来照样颠、照样顿挫,甚至可能更费油。用户坐进车里,只会觉得“这车怎么越来越难开”,不会去想发动机本身有多先进。

我见过太多团队,模型换了一代又一代,从GPT-3.5换到GPT-4,从开源换到闭源,结果产品形态还是简单的“对话框+提示词”,用户根本感觉不到底层换过模型。这不是AI慢,是产品没跟上模型的速度。

1.3 现在这个阶段,慢是规律不是意外

从技术成熟度曲线上看,AI现在正处在“期望膨胀期的尾部”和“泡沫破裂低谷期的入口”——这个阶段的特点是:大家开始发现技术没那么神奇,商业化没那么容易,第一波跟风的人开始撤退。但恰恰是这个时候,真正有价值的应用开始慢慢沉淀下来。

历史上互联网也经历过类似的阶段:2000年泡沫破裂之前,所有人都觉得互联网发展太快了,什么都来不及。泡沫破裂之后,大家又觉得互联网完蛋了,发展太慢了。但事实上,2000年到2005年之间,宽带普及、搜索引擎商业化、电商基础设施逐步完善,这些才是后来移动互联网爆发真正依赖的地基。

AI今天的“慢”,同样是在铺地基。只不过地基这个东西,铺的时候谁都觉得慢,等楼盖起来的时候,又没人记得地基的事了。

2. 技术层面到底慢在哪:demo与生产环境的鸿沟

2.1 实验室里的惊艳,生产环境里的崩溃

我在实际项目中见过最多的问题,就是“demo跑得通,一上线就崩”。这里“崩”不是指系统崩溃,而是指效果崩坏。

demo场景是理想化的:输入是精心挑选的,上下文是干净的,评价是靠人眼看的,实时性要求是不存在的。生产环境完全不是这样:

  • 输入是不可控的,用户什么乱七八糟的话都敢发
  • 上下文是脏的,各种历史错误、格式混乱、编码问题叠在一起
  • 评价是没法靠人眼一个一个看的,必须自动化去做
  • 延迟要求是毫秒级的,用户等不了你三秒钟

这些问题,每一个单拎出来都不算大,但全部叠在一起,就会让一个在demo里效果90分的模型,在生产环境里实际体感只有60分。

我记得有个项目,做的是AI客服质检。demo阶段拿几十条典型录音测,准确率极高,客户非常满意。等真上线接入全量录音后,问题一个接一个:有口音重的,有背景噪音大的,有说话一半被打断的,还有各种方言混着普通话说的。前两周光做数据清洗和效果调优,团队成员都快崩溃了。最后总结就一句话:demo验证的是模型上限,生产环境考验的是系统下限。

2.2 模型能力≠产品能力:推理成本、延迟、稳定性的硬约束

很多纯做技术的人会忽略一件事:模型能力只是产品能力的一部分,甚至不是最重要的一部分。一个AI产品能不能用,还要看推理成本、延迟、稳定性这三个硬约束。

推理成本这一关就卡死了很多应用。我见过有人做AI编程助手,模型效果确实好,但一次代码补全要生成几百个token,按当时的API价格算,一个活跃开发者一天消耗十几块钱。这个成本其实还好,但放到一个上千人的研发团队,一个月光工具费用就是几十万。老板一算账,宁可让大家少用点AI,也不能让工具比人还贵。

延迟就更现实。模型推理速度决定产品体验下限,用户发出一个请求,如果三秒内没反应,基本就会觉得卡了。但很多复杂的AI任务——比如长文档理解、代码生成、多轮推理——就是需要好几秒甚至十几秒。你技术上可以做到90分的准确率,但用户体验只有50分。最后只能做折中:用快的小模型做初筛,用贵的慢的大模型做关键判断,把延迟压下去,代价是效果也跟着打折。

稳定性是第三道坎。模型的输出天然是概率性的,同一个问题问十次,可能有八次答案一致,两次答案飘了。这在纯聊天场景问题不大,但在企业业务系统里,飘一次可能就要出大问题。为了稳定,你得上各种校验、兜底、人工审核,层层加下来,AI的“聪明劲儿”就被磨掉大半。

行业里有个说法:模型能力是1,工程化能力是后面的0,没有后面的0,1就是1。这句话虽然糙,但实际干活的人一定懂。

2.3 AI Agent离真正“干活”还有多远

这两年热词里“AI Agent”几乎是顶流,但我也经常泼冷水。Agent是什么?说白了就是让AI不只是聊天,而是能自己规划任务、调用工具、执行动作、拿到结果。

理想中的Agent是:你让它订个机票,它自己查航班、比价格、选时间、下单支付。现实中的Agent是:你让它写个分析报告,它写到一半卡住了,需要你告诉它数据在哪里;你让它总结会议纪要,它分不清哪些是结论哪些是闲聊;你让它帮你维护一个代码项目,它改了A文件忘了B文件的依赖。

核心问题在哪?在于Agent的“规划能力”远超“执行能力”。模型的规划能力靠的是大模型的推理能力,这几年进步确实快,但执行能力依赖的是工具链、系统集成、数据打通,这些属于工程问题,不可能靠模型自动解决。

我自己的体感是,目前的Agent处在“能做一些局部任务”的阶段:你把任务拆到足够小、步骤足够清晰、每个步骤的工具足够稳定,Agent是可以跑得不错的。但指望它独立完成一个跨部门、跨系统、多环节的完整流程,还相当遥远。这个“慢”,恰恰是工程复杂度决定的,不是模型能力决定的。

3. 资源层面:钱没少烧,为什么进度条还是不动

3.1 算力的边际收益在递减

过去几年,行业里有一个错觉,就是“只要算力够多,模型就会够强”。这个错觉的形成,是因为在此之前,算力确实是最大的瓶颈,谁卡多谁赢。但到了今天,单纯堆算力带来的收益已经肉眼可见地递减。

我自己跑过一些微调和训练的实验,一个明显的现象是:同样的训练数据,从1000卡扩到2000卡,收益可能只有20%;从2000卡扩到4000卡,收益可能只有10%。计算效率的提升,远赶不卡数量的增长。原因也简单:模型质量的天花板更多取决于数据质量、算法设计、训练策略,而不只是算力多少。

一个更扎心的事实是:算力增长会推高成本,而成本会限制迭代次数。很多团队训练一个模型,因为太烧钱,不敢大规模做消融实验,不敢频繁调参,只能凭经验赌几个关键配置。这种情况下,就算算力翻十倍,实际效果也就那样。这就好比给你一个顶级厨房,但食材只有一种,刀工也不熟练,你再怎么颠勺,也做不出一桌满汉全席。

3.2 数据荒:比算力更早到来的瓶颈

如果说算力是AI的燃料,那数据就是AI的土壤。这两年行业里最焦虑的词,不是“缺卡”,而是“缺数据”。

缺数据的第一个层面是缺优质的高质量数据。互联网上的公开文本、图片、音视频,几乎全被大模型“洗”过一遍了。再往下挖,要么是质量参差不齐的UGC内容,要么是版权不清的资料,要么是需要大量人工标注的垂直领域数据。每一类数据的获取成本都在升高。

第二个层面是缺场景化数据。模型想在你的业务场景里表现好,光靠通用数据不够,必须要有你这个场景的真实数据来做微调。但这些数据往往分散在各业务系统里、格式五花八门、质量参差不齐,还涉及隐私和合规问题。想打通,牵扯的不光是技术,还有组织协调。

第三层面是缺动态数据。行业一直在变化,用户需求一直在变化,模型如果只用静态数据训练,很快就会过时。但持续收集、清洗、标注、更新数据,需要的是一个完整的数据飞轮体系,这个体系目前大多数企业都还没有。

数据这个瓶颈,绝对不是砸钱就能解决的。它需要的是长期积累和机制建设。AI发展慢,很大一部分就是慢在数据建设上。

3.3 人才结构:会调模型的人多,会落地的人少

还有一个被低估的瓶颈是人才结构。过去AI人才主要分两类:一类是做算法的,一类是做工程开发的。这两类人各干各的,配合往往不顺畅。

做算法的人熟悉模型结构、训练技巧、评测方法,但对业务理解不深,做出来的模型经常和实际需求对不上。做工程的人熟悉系统架构、开发流程、数据管理,但不一定懂模型,AI相关的问题经常解决得不彻底。

现在市场最缺的是“既懂业务又懂AI又懂工程”的复合型人才。这个缺口比算力缺口还难补,因为这类人才的培养周期极长——需要既有算法基础又有工程经验,还要有业务sense。很多AI项目推进慢,根本卡在“没有人能把模型、数据、产品、业务拉通成一个整体”这件事上。

我有时候看一些AI企业,算法团队几十个人、工程团队几十个人,但双方互相甩锅:算法说工程不配合部署,工程说算法不懂线上复杂度,产品说两边都不懂用户。这个协作成本,最后都转化成了AI落地的“慢”。

4. 应用层面:业务方、用户、AI之间的三角关系

4.1 很多问题,根本不是技术问题

真实工作里我越来越确认一件事:大多数AI项目推进不下去,主因不是AI技术不行,而是业务流程本身就没理顺。

我之前接触过一个制造业的客户,想用AI做设备故障预测。听起来很巧,技术路线也很成熟,数据采集方案上了传感器,模型训练也出了几版。但最后发现问题出在:他们车间的设备数据分散在三种不同品牌的系统里,数据格式不统一,甚至有些数据要手工抄录到Excel里再导入系统。数据链路没打通之前,再牛的模型也是空转。

这种情况不是特例。AI项目的本质,是把现有流程“AI化”,也就是重构业务流程。但业务流程重构是最难的事情——它涉及组织权责、IT系统改造、人员习惯变化。这些问题的复杂度,远超模型调参本身。

所以每次有人跟我说“AI落地慢”,我第一反应不是问“你们用的什么模型”,而是问“你们的业务流程长什么样”。绝大多数时候,问题答案不在AI这边。

4.2 用户预期管理:从“哇塞”到“就这?”

AI产品的用户预期管理,是我见过做得最差的一环。

早期AI刚火的时候,各种宣传片把AI包装得无所不能,用户对AI的期待已经被拉到了“科幻级”。等真用上了,发现AI写的东西要改、画的东西要调、问的问题有时候答非所问,自然就觉得“AI就这?”。这不是AI没进步,是预期透支太多。

我自己现在做产品,第一条原则就是:宁可让用户觉得“超预期”,也不能让用户觉得“被骗了”。能做到这一点的核心,就是别把AI包装成万能的,要明确告诉用户它能做什么、不能做什么,最好把“不能做”写在显眼的位置。

但这里有个矛盾:如果太诚实,用户可能直接就不用了;如果太夸张,用户用一次就跑了。这个度怎么把握,非常考验产品功底。我目前的做法是:第一版只承诺三件事,每件事都做到90分以上,留7分给用户惊喜。等用户建立了信任,再逐步开放更多能力。

4.3 价值闭环:AI到底能不能挣钱

说到底,AI发展慢还是快,最终要看商业回报。一个技术如果不能让企业挣到钱、让用户觉得值,那它的发展速度就不可能快。

AI目前最成熟的商业化路径,其实是“提效工具”这个方向。无论是AI编程助手、AI客服、AI内容生成,本质都是降低人的劳动成本。这个方向的价值很容易算清,所以也最容易推进。但“提效工具”有个天花板:它省的钱通常是隐性的,不直接体现在收入上。老板很难为“效率提升”持续开心,因为这种提升很难被量化,且容易被认为是“人变懒了”。

AI真正的大商业价值,应该是“创造新的产品和服务”。比如个性化教育、AI医生、智能体数字员工。但这类产品涉及的影响面更大、合规要求更高、失败风险也更大。资本不敢激进,企业不敢冒进,AI自然就显得“慢”。

说句可能得罪人的话:今天AI没像很多人期待的那样“快速改变世界”,很大原因是改变世界这件事本身,从来就不快。

5. 但有些“慢”其实是错觉:被低估的进展

5.1 工具链的进步,比模型进步更实在

这半年一年,我反而觉得行业里最值得关注的变化,不在模型榜单上,而在工具链上。

比如AI编程这个方向,前两年大家关注的是“模型能不能写出代码”,今年关注的是“AI怎么融入IDE、怎么接入代码库、怎么做代码审查和自动化测试”。后者的重点早就不是模型本身,而是工具链的完善程度。我自己的体验是,AI编程插件的整体体验比一年前好了不止一个档次,不是因为模型翻天覆地了,而是因为工程化跟上了。

再比如AI Agent的底座——包括浏览器自动化、API协议标准化、记忆管理与多Agent协作框架,也在快速成熟。这些之前都是零散的野路子,现在逐步沉淀成规范化工具了。别看它们上不了新闻头条,但它们才是AI落地的真正加速器。

工具链的进步,往往不会像模型发布那么抓眼球,但它的累积价值非常大。等工具链完全成熟的那天,回头再看现在的大模型,可能用“原来的配方”也能做出一桌新菜。

5.2 行业Know-how的积累,需要以年为单位

AI在不同行业的渗透速度不一样,这个差异很容易让人得出“AI慢”的结论。但仔细看,走得快的行业都有一个共性:数字化基础设施好,且有大量可标注的历史数据。金融、互联网、内容行业属于这一类。走得慢的行业,比如制造业、农业、医疗,核心卡点根本不是AI不好用,而是数据、流程、系统这些前置条件还没准备好。

这个逻辑下,AI的发展速度和行业自身的数字化水平强相关。说白了,AI就是数字化的山顶,山脚如果还是泥巴路,你没法抱怨山顶爬得慢,要怪只能怪山脚和山腰的基建还没修好。

这种行业Know-how的积累,是以年为单位计算的。不是找几个程序员写几个脚本就能完成,而是需要行业专家和AI工程师长期蹲在一个项目里,一点点把业务语言翻译成数据语言、再翻译成模型语言。这个过程快不了,但每前进一步,都是真金白银的积累。

5.3 安全合规的“慢”,其实是必要的代价

还有人抱怨AI发展慢,是因为很多场景不让用、不敢用。确实,在内容安全、数据隐私、版权合规等领域,AI受到的约束比很多新技术都要多。但我不觉得这个“慢”是坏事。

AI的影响面太大了。大模型回答一段医疗问题,可能影响一个病人的决策;AI生成的文章,可能带偏一个群体的认知。这种情况下,如果没有底线约束,AI“发展得越快”,可能带来的风险就越大。安全合规的层层审核,虽然让每一次迭代都变重了,但这是建立用户信任的必经之路。

我见过一些创业团队,为了绕开合规限制搞所谓的“无限制AI”,最后要么产品被下架,要么公司被处罚。短期看是“快了”,长期看是把未来都赔进去了。AI发展不是短跑,是马拉松,前半程跑太猛,后半程是要崩的。

6. 在等待AI变快的日子里,我的一些实操心得

6.1 与其催AI变快,不如先把自己的工作流变合适

我一直跟团队强调一句话:AI是放大器,你给它一个糟糕的流程,它会放大糟糕;你给它一个顺的流程,它才能放大效率。

举个例子,同样是做AI写作辅助,如果你给模型的输入是一堆杂乱无章的要点,它输出的文章质量必然不稳定。但如果你先建立一套标准的信息结构,让模型按“背景-目标-论据-结论”的框架去填充,它的输出质量会稳定非常多。这个标准化的动作,不花一分钱,但对效果的提升远超换一个大模型。

所以,落地AI的第一个抓手,不是买更好的模型,而是梳理自己手头的流程。把流程拆成最小单元,去掉那些低效的、重复的、可有可无的环节,再决定哪些环节用AI替换、哪些环节仍然需要人。这套基本功做扎实了,AI的价值才能被真正放大。

6.2 选场景的三个标准

被问到最多的问题是:“我们公司/团队,应该从哪个场景开始用AI?”我一般不直接给答案,而是给三个筛选标准:

第一个标准,是高频。场景必须是每天都发生的,这样AI的边际成本才能摊薄,学习曲线才能走得快。低频场景,就算AI提效100%,绝对收益也有限。

第二个标准,是低风险。错误发生的代价要可控,这样你才敢让AI独立跑,不至于天天盯后台,提心吊胆。客服话术、内部文档生成、代码辅助这些场景,天然满足这个条件。而自动化交易、医疗诊断这类场景,除非极其成熟,否则风险成本太高,压根不适合作为第一批试点。

第三个标准,是可量化。场景的效果必须能被客观度量。前期可能要消耗很多人力去做质检,但后期可以自动化,慢慢形成完整度量体系。这个可量化很重要。如果一个场景的效果纯粹靠“感觉”,那你就没办法持续优化,也没办法跟老板证明投入产出比。总结成一句话就是:高频、低风险、可量化,三者至少满足两样,才值得做AI化改造。

6.3 做好预期管理的具体做法

预期管理不是一句口号,落到实处有四个动作。

第一,在项目启动时就和业务方明确“AI能做什么、不能做什么”,最好写成文档,白纸黑字。第二,设立阶段性目标,每两周或每个月对齐一次,及时校准方向,避免到最后一刻才发现跑偏了。第三,任何AI能力上线,都必须有兜底方案。比如AI客服后面必须能转人工,AI诊断后面必须有医生复核,这个兜底不仅是风险控制,也是给业务方吃定心丸。第四,要主动展示“失败案例”。一开始就告诉大家好在哪里、坏在哪里,比等项目出问题再解释要强得多。

这几个动作看着简单,但真坚持做下来的团队不多。很多项目翻车,翻得都不是什么大问题,就是预期打着摆子一路错位,最后发生碰撞。

6.4 小成本验证,小步快跑

最后分享一个我自己的方法论:任何AI项目,第一轮一定是小成本验证,而不是直接大规模铺开。

所谓小成本验证,就是先只针对一个部门、一条业务线、甚至一个小组,用最精简的配置跑通整个流程。目标不是“效果完美”,而是“能不能跑通”。跑通的定义包括:技术可行、成本可控、用户有正反馈、指标有改善趋势。

我做过一个AI知识库的项目,业务方最初希望把整个公司的制度文档全量灌进去。我拦住了,只选了其中一个部门、大约十份核心文档做首期验证。结果跑了两周,需求和预期的差距就全暴露了:模型对制度文档的编号体系理解不透、检索时的同义词匹配不够好、回答里偶尔会出现张冠李戴。这些问题在小范围内修正很方便,等全部修完再扩量,后面就顺了很多。

小步快跑还有一个隐藏好处:它可以不断积累“小胜”,让团队和业务方持续保持信心。AI项目真的很怕冷启动。一开始就搞一个大工程,光排期就要几个月,中间只要出一个大问题,整个项目可能就被砍了。把项目拆小了,哪怕每步只前进一点点,但至少在路上。

最后分享一点个人体会

回到“AI发展的太慢了”这个标题。我的观点可能跟很多人不一样:与其说AI慢,不如说AI正在进入一个必然的蓄力期。前几年的爆发是惊艳的亮相,这几年的瓶颈期是难啃的硬骨头,等硬骨头啃下来,AI才会迎来真正的遍地开花。

这轮AI的真正价值,注定不是靠几个炫酷的demo来兑现的,而是要靠无数个“慢工出细活”的业务重塑来兑现的。在这个过程里,最需要调整的是我们自己的心态——别拿追热点的劲头做长线技术,别拿吃快餐的习惯啃系统工程。

我自己从这段经历中学到的最重要的一件事是:少问“AI什么时候能彻底改变世界”,多问“我今天能用AI把哪件小事做得更好一点点”。前者让你焦虑又无力,后者让你安稳且有收获。这个思路,分享给每一个觉得AI发展太慢、又不想干等着的人。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进