这两年做AI项目的朋友应该都有同感：模型越训越大，加速卡越买越贵，电费单也越来越吓人。AI的进步确实快，但背后那套算力体系消耗的能源，已经慢慢变成一个绕不开的问题。很多人把“AI能源危机”当成标题党，觉得离自己很远，真到自己跑一次大规模训练、或者长期维护一个高并发的推理服务时，才会明白这不是危言耸听。它直接关系到你的项目成本、碳排放压力，以及整个行业能不能健康地走下去。
这篇文章，我想从“AI的能耗到底耗在哪”“矛盾为什么会越来越尖锐”“有哪些真正能落地的解法”三个层次展开，把我在实际项目中积累的经验、踩过的坑、验证过的手段一起讲清楚。不管你是做算法、做平台，还是负责基础设施，都应该花点时间把这笔账算明白。
1. 先看清账本：AI的能耗到底高在哪
咱们先把“AI很耗电”这句笼统的话拆开。AI的能源消耗，主要分三块：模型训练、模型推理（服务阶段），以及数据中心基础设施的间接损耗。很多人只盯着第一块，结果被第二三块打得措手不及。
1.1 训练阶段：一次“全程马拉松”式的能源消耗
先说训练。一次大模型的预训练，通常需要数千块高性能加速卡组成集群，连续运行几周甚至几个月。单块加速卡的满载功耗在300瓦到500瓦之间，主流服务器整机的功耗往往在几千瓦这个量级。数千张卡同时满负荷跑，再加上配套的服务器、网络交换设备，整个训练集群的峰值功耗轻松突破兆瓦（1兆瓦=1000千瓦）级别。
什么概念？一个普通家庭一年的用电量大概在2000到3000度电，而一次中等规模的大模型预训练，总耗电量可以达到几十万度，相当于上百户家庭一整年的用电。如果把模型规模再翻几倍，这个数字还会成倍往上走。
这里有个很容易被忽略的点：训练任务为了保证稳定性，通常要求集群长时间高负载运行。不是说电费贵就中途停一下，一停，前面的进度可能全部归零。所以训练阶段对能源的需求是“刚性的”，这就让电费成了算力成本里相当硬的一块支出。很多团队做完预训练一算账才发现，电费占比比想象中高得多。
1.2 推理阶段：被低估的“长期吞电兽”
训练是一次性投入，推理服务则是“细水长流”式的长期消耗。一个线上AI产品，用户每发一次请求，后台就要跑一遍推理。大模型的单次推理，尤其是生成式任务，每一轮输出都需要消耗大量算力。高并发的推理服务，后台往往需要部署几十甚至上百张加速卡来支撑，这些卡是7×24小时在线运行的，哪怕流量有波峰波谷，也很难完全关掉。
我见过不少团队，精打细算训练阶段的成本，上线之后才发现推理集群每个月的电费和折旧比训练那次还贵。推理是很多个“小训练”的累加——一次推理看似只花一点点时间，但每天几百万次请求，乘以365天，累计能耗非常可观。
推理阶段的能耗还有另一个特点：碎片化。请求是动态的、不规律的，卡片的利用率上不去。很多时候卡没跑满，但功耗并不低，因为芯片在等待状态也有基础功耗。这种“低效的空耗”，是推理服务降本增效最难啃的骨头。
1.3 看不见的间接能耗：散热、供电与网络
第三块，也是最容易被外行忽视的：数据中心本身的间接能耗。加速卡工作会产生大量热量，必须靠冷却系统保持温度。传统风冷方案，制冷系统本身可能占到数据中心总耗电的30%以上。除此之外，还有供电转换的损耗、网络设备的消耗、存储系统的消耗。
业界通常用PUE（电力使用效率）来衡量一个数据中心的整体能效。PUE=1.0意味着所有电力都用于IT设备，是理想状态；实际中PUE在1.2到1.5之间已经算不错，差的能到2以上。也就是说，你算力设备花1度电，配套设施可能还要再花0.3到1度电。
这块间接能耗，很多做算法的同学完全没概念。但真要给AI项目做碳评估的时候，这三块必须一起算。我后面会说怎么建这个体系。
2. 矛盾的本质：为什么越智能越耗电
有人会问：AI的效率不是一直在提升吗？芯片不是越来越省电吗？为什么能源问题反而越来越严重？这里面的矛盾，必须从三个层面理解。
2.1 规模扩张速度，碾压了单点效率提升的速度
芯片能效确实在进步，单位算力的功耗在逐年下降。但问题在于，AI模型的规模扩张速度远远快于能效提升速度。模型参数从千万级涨到千亿级，训练需要的算力呈超线性增长；而芯片的能效每年提升可能只有百分之几十。两个斜率不对等，结果就是总能耗一路向上。
这是一个典型的“杰文斯悖论”：效率越高，用的人越多，总体消耗反而越大。某个技术让单位推理成本降低一半，结果不是省了一半电，而是大家用AI的频率翻了一番，总能耗反而涨了。我在实际项目中也深有体会——优化做得好，老板第一反应往往是“那能不能把模型做大一点，效果再提一档”，于是省下来的资源又投进去了。
2.2 半导体物理的能效天花板
再看单点。芯片能耗降不下来，有物理层面的原因。目前主流数字芯片基于CMOS工艺，动态功耗正比于电容、电压平方和频率。降低电压是最有效的省电手段，但电压降得太低，漏电流又会显著增加，甚至影响电路稳定性。这些年芯片制程从几十纳米做到个位数纳米，逼近物理极限，能效提升进入瓶颈期。
为什么不换底层架构？比如存算一体、光子计算、量子计算，这些方向理论上很美，但距离大规模工程落地还有相当距离。所以短期内，我们能用的还是成熟架构，能效提升只能是“挤牙膏”式的。这个现实决定了，我们不能指望靠一颗“超级省电芯片”解决所有问题。
2.3 环境账单：不只是电费，还有碳和水
能源问题往深了说，就是环境问题。数据中心如果用的是火电，每一度电背后都有对应的碳排放。有人算过，数据中心行业整体的电力消耗在全球总用电量中的占比已经不小，还在快速上升。
另一个容易被忽略的是水。传统风冷靠空调，空调靠蒸发式冷却，会消耗大量水。一些大型数据中心建在缺水地区，当地居民用水都受影响，这已经变成真实的社区矛盾事件。所以做“绿色AI”，不能只看省了多少度电，还要看碳排了多少、水用了多少。
这部分的矛盾，本质上是一个“外部性”没有被定价的问题。电费单上是数字，但电力的生产过程中产生的碳排放、水资源消耗，并没有完全体现在你的账单里。所以环境可持续性，需要企业主动去做，也需要政策和行业标准的推动。
3. 破局路径：从硬件、算法到基础设施的联动优化
解决AI能源危机，没有银弹，必须是一条系统性的路径。我把解法分成三个层面：硬件、算法、基础设施。
3.1 硬件层面：能效是一场“精细化管理”
硬件层面的选择，直接影响你的能耗基线。首先是专用芯片的选型。通用加速卡能跑所有任务，但很多AI推理场景其实可以用专用加速芯片来做，这类芯片在特定算子上做了硬化，单位能耗下的吞吐量高很多。训练端没有太多选择，但推理端完全可以混合部署：热请求走高性能卡，冷请求走低功耗芯片，能省下不少电。
其次是硬件资源的配置。很多人习惯把所有任务都塞进最高配置的服务器，这其实很不划算。应该按业务负载的特征去选配置：内存密集型、计算密集型、IO密集型的任务，需要的硬件搭配完全不一样。一台配置过高的机器，空闲时的空转功耗就是浪费。
我在这方面的经验是：不要迷信“最新最强”，而要追求“最匹配”。我做过一个项目，推理服务原来用顶级加速卡，后来换了中端芯片做批处理推理，吞吐量降了20%，但功耗降了一半多，整体性价比反而更好。
3.2 算法层面：给模型“减重”，是最划算的投资
算法层面的优化，往往能以很低的成本换来很大的能耗下降。
第一，模型压缩。量化是把模型的浮点参数变成低精度整数，显存占用和计算量都大幅下降。剪枝是把不重要的参数或神经元去掉。知识蒸馏是让一个小模型去学大模型的行为，效果接近，但推理成本可能低一个数量级。这些手段组合使用，模型体积可以压缩到原来的几分之一甚至十分之一，推理能耗也随之大幅下降。
第二，动态推理。不是所有请求都需要最大的模型来处理。简单的请求走小模型，难的问题才调度大模型。这种“级联推理”的思路，在问答系统和客服机器人上效果很明显。我在一个项目里，90%的请求都命中短路径（小模型直接出结果），只有10%的复杂问题才走大模型，整体能耗下降了将近70%。
第三，算法效率本身。同样的效果，不同算法的计算复杂度可能差好几倍。选择更高效的架构、更合理的注意力机制，能从源头上减少计算量。做这一层优化的前提是，你要有清晰的评估指标，不能光看精度，还要看“单位精度对应的能耗”。
3.3 基础设施：绿电与散热的两条线
数据中心层面的动作，收益往往比算法优化还大。
绿电采购是最直接的减碳手段。无论是直购绿电、自建光伏还是购买绿证，都能显著降低数据中心的碳排放因子。虽然绿电初期成本可能高一点，但从长期看，随着可再生能源价格下降，综合成本反而有竞争力。我见过不少企业把数据中心选址在可再生能源富集地区，电费便宜，碳排也低，一举两得。
散热是另一个大头。传统风冷在芯片功耗上来以后越来越力不从心。液冷方案（冷板式、浸没式）的散热效率是风冷的几十倍，能显著降低制冷能耗，同时还可以把余热回收利用，比如给园区供暖。现在新建的算力中心，如果设计功耗大，液冷基本已经是标配了。
还有一层是调度层面的优化。用电也分峰谷，电价差可以到数倍。把训练任务安排在谷电时段，推理集群跟随业务流量弹性伸缩，虽然不能直接减少电量消耗，但能降低电费成本，这本身就是一种经济性优化。更进一步，如果数据中心接入电网侧的灵活调度，在电网负荷高峰时主动降载，还能获得经济补偿。
4. 实操指南：给一个AI项目“减碳”的完整流程
理论讲完了，说说怎么落地。我以一个典型的AI推理服务项目为例，给出一套可复制的减碳流程。
4.1 第一步：建立能耗基线，先算明白账
任何优化，第一步都是量化现状。你至少要采集四类数据：
- 加速卡/服务器的实时功率和利用率
- 每天/每月的总耗电量
- 数据中心整体的PUE
- 所在地区电网的碳排放因子
把这些数据汇总后，你就可以算出三个关键指标：单位请求能耗、单位训练周期能耗、单月碳排放总量。
实操上，我建议先装一套基础的监控平台。现代操作系统和硬件通常都提供功耗接口，在服务器上采集整机功率并不难。芯片级的功耗也可以从驱动层面读到。先把这些数据存下来，后面所有优化决策都有依据。很多团队省了这个步骤，结果优化做了半天，连基线都没有，根本不知道效果好不好。
4.2 第二步：按投入产出比排序，先做低垂果实
优化手段很多，但资源有限，要排序。我的建议是这样一个顺序：
- 先做推理侧的模型压缩（量化、蒸馏），投入小、见效快。
- 再做集群调度优化（弹性伸缩、请求分流），重点解决利用率低的问题。
- 然后再考虑硬件替换（低功耗芯片、液冷改造）。
- 最后才考虑绿电采购这类中长期策略。
前两项是软件层面的，改造成本低，一两周就能看到效果。后两项涉及硬件和商务，周期长，适合并行启动。
这里特别提醒：别一上来就追求“完美方案”。很多团队做减碳，一开始就规划大而全的绿电加液冷改造，结果项目推进慢，反而把最划算的模型压缩工作扔在一边。先拿低垂果实，建立信心和ROI数据，再推动大的改造，这个策略在跟领导汇报的时候也更容易通过。
4.3 第三步：落地执行与效果验收
执行阶段，最关键的是把优化前后的数据放在同一基准下对比。比如同一条测试集、同样的并发量、同样的请求分布，分别测优化前后的功耗和耗时。不要用生产环境里的随意数据对比，那样很容易被业务波动干扰，得出误导性结论。
另外一个经验：任何优化都要做“回滚预案”。模型压缩可能导致精度掉点，调度策略改动可能导致延迟上升。在做变更之前，先把旧版本保存好，上线时设好监控告警，一旦指标异常立刻回滚。我在一个项目中，量化后模型精度掉了1.5%，对业务影响不大，但因为提前做了评估，才敢放心上线。
验收的时候，除了看技术指标，还要把经济账算清楚。比如，推理集群月度电费从X万降到Y万，省下来的钱折算成ROI。有了这个数据，后续再申请预算做更深度的改造，就有底气了。
5. 常见问题与避坑经验
这些坑我基本都踩过，拿出来跟各位说清楚。
5.1 问题速查表
| 现象 | 可能原因 | 解决方案 |
|---|---|---|
| 模型压缩后精度大幅下降 | 量化方式太激进，或校正确实不足 | 改用混合精度量化，增加校准集规模 |
| 推理集群利用率低但功耗高 | 芯片空转状态下基础功耗大 | 设置合理的超时休眠策略，动态缩容 |
| 电费明明降了，碳排没怎么降 | 用的是火电，电价与碳排不完全对应 | 采购绿电或绿证，从根本上降低碳因子 |
| 液冷改造后收益不明显 | 原有风冷系统效率已经不低，或液冷系统自身泵耗太大 | 先做散热设计评估，核算综合能效再决定 |
| 优化效果波动大，无法评估 | 缺少基线数据，或业务负载变化干扰 | 固化基准测试流程，定期做对照实验 |
5.2 几个需要特别注意的认知问题
第一个是别把“省电”等同于“省钱”。省电通常省钱，但有些省电手段（比如换液冷）前期投入巨大，回收周期可能长达数年。要从总拥有成本的角度算账，而不是只看电费单。
第二个是别过度优化。我见过有团队为了追求极致能效，把模型压缩到几乎不可用的程度，用户体验崩了，用户流失，反而是更大的能源浪费——因为用户去用了一个更耗电的替代服务。能效优化必须和业务指标绑定，不能为了绿而绿。
第三是注意隐藏的“能源回弹”效应。省下来的资源，如果马上又用于扩大规模，总能耗还是会涨。真正可持续的做法是，把省下来的能源预算用于更重要、更高价值的计算，同时建立组织层面的“能效红线”，不让无谓的算力浪费复燃。
第四个是关注整个供应链的能耗。模型训练本身就是大能耗，但真正被忽略的，往往是数据存储和处理链条上的耗电。海量的训练数据存储、日志存储、备份副本，日积月累的耗电量非常惊人。做减碳，建议关注全链路，而不是只看算力那一环。
6. 写在最后：几个反直觉的认知
最后分享几个我做了这么多项目之后的个人体会。
第一，AI能源危机本质上是“增长方式”的问题，不是“技术不够强”的问题。我们不需要停止AI的发展，而是要把“能效优先”变成和“精度优先”并列的工程指标。我注意到，越来越多的团队在模型选型阶段就会把“单位效果所需算力”纳入考虑，这个趋势很好。
第二，做能效优化最大的障碍，往往不是技术，而是评估体系。很多团队的所有技术评审都看精度、看时延、看吞吐，没有人看功耗，那自然没人优化功耗。把能效指标写进评审标准，比任何技术方案都管用。
第三，中小团队在AI可持续发展中能做的，比大厂更多。大厂有大厂的杠杆，但中小团队离业务更近，改起来更灵活。一次模型压缩、一次集群缩容、一次绿电切换，这些看起来小小的动作，乘以众多中小团队，那就是整个行业实实在在的转型。
我自己现在的习惯是，每个AI项目立项的时候，就在技术方案里加一节“能效评估”，把预期的功耗、碳排放、优化手段全部写清楚。这个习惯帮我避开了很多后面才补的坑，也让每个项目从第一天起就是“可持续”的。希望这篇文章能给你一些同等的启发，也欢迎在评论区交流你的落地经验。
