这两年只要参加技术会议，几乎每个专场都在聊国产AI算力芯片。海外GPU从年头开始交期一拖再拖，价格飞涨，连带着云上实例也一路紧张，很多原本只用海外方案的团队，第一次被逼着认真算起账来：到底能不能用国产AI算力芯片顶上去，顶到什么程度，成本收益合不合算。我今年陆续参与了几个国产AI算力芯片的选型评估和竞品分析项目，接触了市面上大多数有量产产品的国产方案，一条条参数、一版版软件栈都翻过，也帮客户在不同场景里做过压测和迁移。这篇就把我看到的份额替代进度、供给瓶颈根源、生态竞争的关键胜负手，以及各厂商未来可能的分化路径做一个相对完整的拆解。它更适合正在做国产替代选型的技术负责人、研究芯片行业的朋友，以及打算自建算力的AI创业团队。

1. 为什么这个时间点，大家开始认真算“替代账”

1.1 海外GPU供应收紧带来的连锁反应

过去几年，国内AI团队用海外GPU做训练和推理几乎是默认选项，国产芯片更多是停留在PPT和新闻稿里。但供需失衡这件事，一改写了所有优先级。海外高端GPU的交期从几周一路拉到半年以上，现货市场溢价高得离谱，云上实例也被大客户锁定，小团队想临时扩容根本排不上队。

开发节奏一旦不可控，算力选型就从“技术偏好问题”变成了“经营风险问题”。我见过好几家公司，模型已经调通了，结果扩容用的卡迟迟到货，商业化上线日期一推再推。对比之下，国产AI算力芯片虽然性能和生态还有差距，但至少供应节奏是可控的、可预期的，第一批愿意做深度测试的团队，基本都是冲着“确定性”来的。

1.2 算力需求的真实构成：训练和推理哪边才是大头

很多人以为AI算力需求主要在大模型训练，但实际跑下来，绝大多数业务的算力消耗大头是推理。训练是脉冲式投入，一群人集中几个月烧几百万元，训完就停了；推理是7×24小时持续烧钱，模型一发上线就是天天跑、天天计费。

这个结构决定了国产AI算力芯片的切入逻辑。推理场景对软件生态的依赖度相对低，模型已经训好，只要把权重文件加载进来跑前向计算就好，算子相对固定，性能调优的目标单一。训练则要复杂得多，涉及分布式通信、梯度同步、多卡调度，对平台的稳定性、互联带宽和软件栈要求全都要高一个量级。所以你会发现，国产芯片厂商清一色先打推理市场，是有它的必然性的。

1.3 份额替代的基本盘：哪些场景已经能换，哪些还不能

我把过去半年接触到的实际替换案例做了个归类，给大家一个比较真实的边界感。

已经能替换的场景，主要是这几类：

• 7B到70B参数规模的大模型推理服务，典型的是生成式对话、文档摘要、代码补全。batch不大、并发可控，国产卡配合优化过的推理引擎，延迟能做到接近海外中端卡的水平。
• 中小规模私有化部署，客户要求数据不出域，模型规模在10B到50B之间，一个机柜塞下全套服务，国产卡的性价比优势很明显。
• 视觉类推理，图像分类、目标检测、视频结构化这类存量业务，很多厂商在上一代芯片就已经做过深度适配，迁移成本很低。
• 语音识别、语音合成，这类模型结构相对固定，算子种类少，国产卡跑起来几乎没有压力。

暂时还不能轻易替换的，主要集中在：

• 千亿参数大模型的从头预训练。主要卡在显存容量、卡间互联带宽和集群长时间运行的稳定性上。这些都不是靠堆卡能解决的，需要整机、网络、存储、调度系统全链路配合。
• 高并发、超低延迟的实时在线推理。延迟要求毫秒级，并发波动剧烈，国产芯片在精细调优手段上还有差距，只能一个个场景手动抠。
• 大模型微调、RLHF这类多轮迭代训练。工具链还不够顺手，断点续训、梯度检查、实验管理这些环节都需要额外开发。

结论很明确：替代空间足够大，但一定是渐进式的——从推理到微调，再到大规模预训练，一步一个脚印地啃。

2. 国产AI算力芯片的竞品全景：四个梯队的玩家与定位

2.1 第一梯队：全栈能力最强的头部芯片设计厂商

这个梯队的特点是芯片设计能力完整，从指令集架构、计算核心到软件编译器、运行时库都有自研积累，产品线覆盖边缘推理、数据中心推理、核心训练等多个档位。它们不太像单纯的AI芯片创业公司，更像是想做成“全能选手”。

这两年它们最明显的动作是把产品矩阵补齐。前两年主打推理卡，今年陆续推出支持大模型训练的旗舰产品，单卡FP16稠密算力普遍做到百TOPS量级，显存堆到64GB甚至更高，直接对标海外中高端产品的纸面参数。落地案例也逐步从互联网企业渗透到运营商、金融、能源这类大客户的核心业务里。

这个梯队的核心优势是“全栈可控”，从底层指令集到上层框架适配都是自己的，迭代节奏不受制于任何第三方。劣势也很清楚——通用计算生态的历史包袱最轻，但正因为轻，所有应用适配都得从零做起，客户迁移时碰到的坑最多。

2.2 第二梯队：互联网大厂自研芯片

这个梯队走的是“先自用、后外供”的路线。芯片从立项第一天起就是为自家云平台和核心业务设计的，搜索引擎、视频推荐、大模型推理这些超大规模真实负载就是最好的“磨刀石”。

它们最大的优势是工程能力强悍，又有海量真实业务场景打磨产品。你去看它们的迭代速度、软件框架适配速度，确实明显快于传统芯片公司，因为背后有一支数千人的工程团队在盯着落地问题。另一个优势是“云+芯”绑定策略，云上实例直接采用自研芯片，对外提供算力时省掉了大量售前适配环节。

但问题恰恰也在“先内后外”上。外部客户用的时候，会发现文档不完整、社区不活跃、二次开发接口不稳定，毕竟人家的产品首先是给自家业务服务的，你的优先级永远排在最后。如果要做深度定制，一条工单可能来回拉扯很久。

2.3 第三梯队：通用GPU初创公司

这个梯队是最“像”海外GPU厂商的路线，目标就是做一张能通用计算的GPU替代卡，什么深度学习、图形渲染、科学计算都想碰。创始团队背景普遍是海外头部GPU大厂或者顶级芯片公司出身，技术底子扎实，资本关注度也最高。

通用路线的核心难点在生态。GPU能不能跑起来，决定性因素不只是硬件架构，还有编译器、驱动、算子库、数学库、调试工具这一整套软件栈。创业公司把这套做完整的难度，比设计一颗芯片还大。它们目前的打法是：一方面在硬件层面兼容主流GPU指令集，跑在其中的程序可以尽可能低成本迁移过来；另一方面自己开发工具链，把迁移做到“编译一下就能跑”的程度。

实际体验下来，通用平台上常见算子的覆盖度已经能到90%以上，但剩下那10%的角落算子往往就是性能杀手，需要手工改写或用自定义算子绕过，这部分的工程投入不可小觑。

2.4 第四梯队：细分场景专用芯片

这个梯队不追求通用，只求在特定领域做到极致。视频编解码、视觉推理、生成式AI的特定环节，这些场景算法固定、算子种类有限，正好适合用ASIC路线实现低功耗、低成本和超高性价比。

以视觉推理为例，专用芯片的单位算力成本能做到通用GPU的三分之一到四分之一，功耗更是优势明显。在大规模视频结构化、智慧城市、边缘计算这类场景里，它们几乎是不可替代的选择。缺点也很明显——一旦业务形态变化，比如从CNN模型切到大模型，芯片就彻底废了，资产锁定风险很高。

四个梯队摆在一起看，你会发现它们并不是完全竞争关系，更多是错位竞争：

3. 从竞品参数表到真实性能：算力、显存与互联的关键差异

3.1 标称TOPS和真实吞吐量之间的落差

竞品分析最容易被带偏的就是参数表。国产芯片发布会上最喜欢报的指标是“INT8稀疏算力”，这个数字往往最漂亮，但它和真实业务里能用的性能之间，隔着好几层“折扣”。

先说精度：INT8是量化后的计算精度，FP16/BF16才是大模型训练和推理的日常精度。INT8峰值通常能到FP16的两倍。再说稀疏性：稀疏算力假设权重矩阵里一半是零、不用算，所以又是稠密算力的两倍。二者叠加，标称INT8稀疏算力可能比真实可用的FP16稠密算力高出4倍。如果你拿INT8稀疏值去估算吞吐量，容量规划大概率翻车。

我最近帮客户做一款国产训练卡的压测，ST标称FP16算力看起来很可观，实际跑一个70B模型、batch size设为16时，有效吞吐只有标称的50%左右。原因是真实模型里大量算子吃不满计算单元，还有访存瓶颈、算子调度开销。所以我的建议是：参数表只看位阶，真实选型一律拿目标模型实测。

3.2 互联带宽的卡脖子效应

单卡性能只是故事的一半。AI算力是一个集群的故事，一个集群能发挥出多少有效算力，取决于计算、存储、网络三者的平衡。

海外主流GPU生态的卡间互联带宽能做到几百GB/s，跨节点网络也有专用解决方案和配套的通信库，多卡扩展效率非常线性。反观部分国产芯片，单卡规格确实追上来了，但卡间互联协议还是高速版本，实际跑8卡训练时，集群加速比往往只有理论的60%到75%。

我做过一个直观测试：单卡训练一个30B模型，每轮迭代10毫秒；8卡并行后，理想情况下应该是1.25毫秒每轮，实际却跑了2.5毫秒。多出来的时间全耗在梯度同步和通信等待上。所以评估国产芯片，单机单卡训练数据跑得再漂亮，也要追问一句：你们的互联加速比曲线图能不能拿出来看看，8卡、16卡、32卡分别是什么表现。

3.3 显存容量与HBM供应绑定的隐形约束

显存容量决定了能塞下多大的模型、跑多大的batch、支持多长的上下文，这是比算力更硬的约束。大模型时代，单卡显存低于40GB基本跑不了像样的模型，64GB才是主流门槛，高端产品都在向80GB以上用力。

但问题在于，大容量显存依赖HBM内存，而HBM的全球供应一直处于紧平衡状态。国产芯片厂商能拿到多少HBM配额，直接决定了他们能产出多少高端卡。这不是营销数字问题，是物理供应约束。有一个厂商相关负责人跟我聊过，他们的训练卡设计已经完成，但整卡量产节奏完全取决于HBM到货时间，这导致新卡交付日期一直在观望状态。

这种绑定关系带来的实际影响是：国产高端卡实际可采购量有限，报价单上的“参考价”和真实成交价之间差距可能很大，采购方需要有心理准备。

4. 供给瓶颈的真正根源：产能、制程、封装与良率

4.1 先进制程产能排期：芯片设计再强也绕不开代工排期

芯片设计公司最无奈的事，是设计能力再强，最后也要落到晶圆厂的产线上。先进制程节点的代工产能常年被几家大客户锁定，国产芯片厂商能分到的产能，取决于与晶圆厂的合作关系和排期优先级。

这里有一个大家容易忽略的时间账：芯片从流片到量产，T0期间需要完成设计验证、测试软件、可靠性测试、量产良率爬坡，整个周期通常要一年到一年半。即便一切顺利，产能爬坡也要一个季度。也就是说，今年发布的产品，对应的是两年前就开始的产能谈判；你现在去谈明年的产能，已经晚了。

很多小型创业公司倒不是死在设计上，而是死在交期上——流片回来了，发现拿不到量产产能，只能一版一版TEV，资金链就这么耗没了。这个坑在选型时也要纳入考虑：买芯片不只是买今天的成品，还要评估供应商的产能持续性，它明年还能不能稳定交付。

4.2 HBM与先进封装从“锦上添花”变成“致命短板”

如果说制程产能是“入场券”，HBM和先进封装就是“生死线”。HBM颗粒的全球供应高度集中，有限的几家供应商基本都在给海外头部GPU厂商供货，留给国产芯片厂商的配额少得可怜。HBM的价格也在持续走高，直接推高了整卡BOM成本。

先进封装（2.5D/3D封装）同样紧张。HBM和计算核心需要封装在同一块中介层上，这种封装产线的新建周期长、工艺验证难度大，产能扩充速度严重滞后于AI芯片需求。很多国产训练卡“设计出来但造不出来”的窘境，根子就在这儿——逻辑芯片流片成功，封测环节却卡住了。

这也是我反复跟客户强调的一点：评估国产芯片供应能力，不要只看PPT上的产品路线图，要向销售直接追问“HBM配额锁定没有、先进封装产能签约没有”。如果能问到这两个问题的明确答复，供应风险基本就透明了。

4.3 良率爬坡与晶圆成本核算

良率是决定芯片成本的最隐蔽变量，也是最难从公开信息里看出来的。先进制程新产品的良率从来不是一上来就很高，从50%爬到80%往往要几个月。

我给大家算一遍单颗芯片成本模型：

单颗裸片成本 = 单片晶圆成本 ÷ (每片晶圆切割芯片数 × 良率)

假设一片晶圆成本固定为4万元，一个芯片尺寸较大、每片只切出100颗，良率是60%时，单颗裸片成本是667元；良率提升到85%，单颗成本降到470元。看起来差距不大，但裸片只是整卡成本的一部分，后端的封测、HBM、基板、被动元件、散热、组装、测试，每一项都会放大这个差距。

所以国产芯片在迭代初期的价格很难压低，因为良率还没爬上来，庞大的研发成本也要分摊到每一颗芯片上。这个阶段与海外成熟产品打价格战，是靠亏本补贴换市场份额。选型时要关注产品的量产阶段——一颗处于良率爬坡期的芯片，就算纸面单价很低，实际供货能力和稳定性也大概率不靠谱。

5. 生态竞争才是真正决胜局：迁移成本、软件栈与开发体验

5.1 指令集底座与兼容策略的选择

芯片有没有生命力，看的不只是硬件里程碑，更重要的是它站在什么样的指令集底座上。目前国产AI芯片厂商分成三类路线：

第一类是自研指令集加全栈自研生态，从编译、驱动到算子库全部自己来。好处是长期演进空间最大，坏处是起步阶段任何程序都要重新适配，客户学习成本高，早期推广异常吃力。

第二类是兼容主流GPU指令集，通过硬件或软件翻译层直接运行既有代码。好处是迁移成本极低、几乎无缝，坏处是翻译层必然带来性能损耗，而且永远在追着主流指令集的新版本跑，身位持续落后。

第三类是框架层适配路线，不碰底层兼容，而是把上层框架接口对接到自己的算子库上。好处是PyTorch等框架里写的代码可以直接跑，坏处是框架新版本一发布，适配工作就要重做，支持滞后时长基本在以季度计算。

这三类路线没有绝对优劣，但它们决定了生态建设节奏。我的观察是：自研路线的厂商虽然初期最辛苦，但一旦跨过生态拐点，护城河最深；兼容路线的体验最好，但永远被牵着鼻子走。

5.2 编译器、算子库与框架适配的真实差距

很多国产芯片发布会都会放一张图：支持PyTorch，主流模型一份代码直接跑。实际用下来，这里的“支持”分好几个层次——能跑通、跑得快、跑得稳、新模型发布当天就能跑，完全不是一个概念。

最常见的坑是算子覆盖度。模型里只要碰到一个未优化的自定义算子，编译器就会走fallback路径，性能直接掉到百分之二三十。然后是动态shape支持问题，一些厂商的编译器要求模型固定shape，稍有变化就要重新编译，这在生产环境完全不可接受。

举一个真实对比：一个新发布的MoE大模型，海外生态往往几周内就能在GPU上跑起来，国内生态可能要两三个月才能把核心算子都优化到可用状态。对快速迭代的业务来说，这三个月的窗口期可能就是决定性劣势。所以选型时别只看“支持PyTorch”这五个字，要拿着你自己业务里最前沿的那个模型去做实测。

5.3 生态迁移的真实成本估计

生态迁移的成本往往被严重低估。不少团队以为“代码不用改就通用”，结果进了POC才发现文件、调优、验证、部署每一步都是工作量。

我按照自己带过的中型迁移项目，给一份相对真实的投入参考表：

一个20人规模的技术团队，迁移一个中等规模推理服务，顺利的话四到六周能上线；训练任务的迁移只会更长，三个月打底。这笔时间成本，必须纳入“国产替代”的总账里去算。

6. 格局分化将走向何方：三种可能的结局

6.1 三种未来路径：全栈整合者、场景深耕者与被出清者

看了一圈之后，我对未来的判断是：国产AI算力芯片市场在三到五年内会进一步集中，今天这么多玩家，最后能活得好的大概只有三种形态。

第一种是“全栈整合者”。具备资金、技术、生态三要素的头部厂商，会持续扩大产品矩阵，从芯片延伸到整机、集群、基础软件，最终变成国产AI算力的基座型公司。它们吃掉的市场份额会最大，但要求也最苛刻——必须熬过漫长的生态建设期。

第二种是“场景深耕者”。资历不足以打全面战的厂商，会选择一个足够大的细分场景（视觉推理、自动驾驶、视频处理）做深做透，靠性价比和专用优化建立护城河。这类公司活得不会轰轰烈烈，但现金流可以很健康。

第三种是“被出清者”。融资节奏断裂、产品迭代跟不上、生态始终没做起来，最终要么破产清算，要么被头部厂商并购。芯片行业本来就是资本密集型长周期游戏，这个结局并不可耻，但选择合作方时真的要警惕。

6.2 给需求方的选型决策框架

面对这么多选项，我建议用一套多因素评分框架来决策，而不是单看某一项指标。

不同需求方可对权重做微调：互联网公司更看重生态成熟度和供应稳定性，中小团队更看重易用性和成本，传统企业则更看重长期供应保障和售后服务能力。权重不重要，重要的是把评估过程固化成一支可追踪的表格，逼自己把每项都打到可验证的颗粒度。

6.3 实际操作中总结的避坑清单

最后把我这半年踩过的坑，或者说看着别人踩过的坑，一并列举出来：

一是不要只看发布会的参数PPT就下单。纸面参数和真实性能之间的差距，只有跑过目标模型才知道。

二是不要只测单卡就草率做决策。多卡互联的加速比才是集群真实水平，8卡以下的测试数据不能代表生产规模表现。

三是不要忽略INT8和FP16的比例关系。容量规划时算错一个量级，后面整个采购预算都要推翻重来。

四是不要忽视HBM和先进封装的供货周期。交期承诺含糊的供应商，合同里的违约金条款一定要写清楚。

五是不要高估“兼容PyTorch”的字面意思。预留出至少两周的专项适配时间，再给老板排上线节点。

六是不要低估能效比的重要性。数据中心里芯片的耗电、散热带来的运营成本，三年下来可能超过一次性采购成本。

我在实际做选型这件事上的体会是：没有十全十美的国产AI算力芯片。但你拿着真实模型、真实压测、真实TCO模型走一遍流程之后，大概率能找到一个在特定场景下性价比显著优于海外方案的国产选项。这个市场已经不是“能不能用”的问题，而是“在哪用最顺手”的问题。认真跑三个月POC，比听任何人讲一百页报告都管用。