做 AI 基础设施这些年经常有人拿着一个型号来问我这张卡能不能训大模型、能不能带得动 70B 推理。我发现大多数人对英伟达计算卡的认知基本停留在 A100、H100再往前就一片空白再往后也只知道“Blackwell 很强”。其实从 Kepler 到 Blackwell这十二年不只是型号更替更是深度学习从学术实验变成千亿参数大模型基础设施的全过程。这篇文章我按代际把计算卡规格完整拉一遍讲清楚每一代解决了什么问题、为什么要用这种显存、为什么算力数字涨得那么夸张也顺便聊聊实际选型和部署里经常踩的坑。1. 先搞懂这条产品线的底层逻辑从 Kepler 到 Blackwell 的演进主线1.1 为什么拿 Kepler 当起点不是随便选个老架构很多文章讲英伟达计算卡会从 Volta 甚至 Ampere 开始但我个人倾向于把起点放在 Kepler。原因很简单Kepler 是英伟达第一次把“计算卡”和“游戏卡”在产品逻辑上分得比较开的架构代表型号是 Tesla K10、K20X、K40。再往前推Fermi 架构的 Tesla C2050 虽然也能做通用计算但那个时代 CUDA 生态远没成型GPGPU 更多是实验室玩具和后来“为深度学习而生”的计算卡完全不是一回事。Kepler 的出现正好赶上 2012 年 AlexNet 在 ImageNet 上夺冠学术界开始把神经网络训练从 CPU 往 GPU 上搬。那时候大家发现GPU 做矩阵乘法的效率远超 CPU而 Kepler 首次在计算卡上强化了双精度浮点性能也支持了更成熟的 CUDA 生态所以很多早期深度学习框架的 GPU 版本都是拿 K20/K40 调的。从这条线看下来Kepler 就是英伟达 AI 计算卡真正的起点。1.2 衡量计算卡规格的几把尺子后面我会反复提到制程、显存、算力、互联、功耗这五件事这里先用生活化类比把框架立起来。把计算卡想象成一个工厂仓库制程决定生产设备的先进程度。制程越小同样面积能塞更多晶体管能效也更好。显存是仓库里的货架容量决定你能同时放多少数据带宽决定货物进出速度。算力是加工速度但要注意区分 FP32、FP16、INT8 这些不同精度因为不同精度加工速度完全不同。互联是多条生产线之间的传送带。单张卡再快模型太大放不下时就得靠 NVLink、PCIe 把多张卡连起来。功耗和散热是整条产线的供电和空调系统功率上去了机房整套配套都要跟着变。后面每一代规格变化本质都是在平衡这五件事。1.3 产品命名和定位的变迁早年英伟达计算卡统一叫 Tesla现在大家熟悉的 A100、H100 属于“NVIDIA Data Center GPU”系列。命名上也有规律可循K 代表 KeplerP 代表 PascalV 代表 VoltaT 代表 TuringA 代表 AmpereH 代表 HopperB 代表 Blackwell。这个字母前缀基本就是架构代号的首字母看到名字就能知道是哪一代。定位上早期 K10 是双 GPU 卡主要为了堆吞吐量K40 开始强化单卡算力并做高显存给科学计算用到了 Pascal 时代P40 和 P4 第一次明确区分“训练卡”和“推理卡”Volta 之后的 V100 则全面转向 AI 训练Tensor Core 从此成了标配。定位越来越清晰也是 AI 工作负载逐渐成为数据中心主要需求的结果。2. 核心规格逐代拆解从第一块 AI 计算卡到千卡集群2.1 Kepler、Maxwell、Pascal训练与推理的分野先看这一阶段的代表性规格我整理了一张速查表。架构型号发布年份制程显存单精度(FP32)双精度(FP64)功耗KeplerTesla K10201228nm2×4GB GDDR5约 4.6 TFLOPS约 0.19 TFLOPS225WKeplerTesla K20X201228nm6GB GDDR5约 3.95 TFLOPS约 1.31 TFLOPS225WKeplerTesla K40201328nm12GB GDDR5约 4.29 TFLOPS约 1.43 TFLOPS235WMaxwellTesla M40201528nm12GB/24GB GDDR5约 7 TFLOPS约 0.21 TFLOPS250WPascalTesla P100201616nm16GB HBM2约 9.3 TFLOPS约 4.7 TFLOPS300WPascalTesla P40201616nm24GB GDDR5X约 12 TFLOPS约 0.29 TFLOPS250WKepler 时代有个有意思的设计K10 是两颗 GK104 芯片拼在一起单芯片算力不够就靠双芯硬堆这种思路在早期很常见但带来的问题是功耗高、编程模型别扭后来英伟达就放弃了大面积双芯计算卡。K20X 和 K40 则是单芯片 GK110FP64 性能被刻意做得很强因为当时主要客户是美国能源部的超算项目科学计算需要双精度。这也解释了为什么 K40 的 FP64 能达到 1.4 TFLOPS而 M40 的 FP64 几乎被砍废了——Maxwell 时代英伟达意识到 AI 训练主要用单精度没必要在双精度上浪费晶体管。Pascal 是这条产品线的一个重要转折点。P100 第一次在计算卡上用 HBM2 显存带宽直接飙到 720GB/s 级别比 GDDR5 时代翻了几倍这对深度学习这种需要频繁搬运权重和激活值的场景非常关键。P100 也第一次做了两种形态PCIe 版本和 NVLink 版本NVLink 版本专门给英伟达自己的超算 DGX-1 用多卡互联带宽远高于 PCIe。可以说从 P100 开始英伟达的 AI 训练卡不再是“游戏卡改一改”而是完全按数据中心需求重新设计的芯片。2.2 Volta、Turing、AmpereTensor Core 和 AI 加速的黄金时代这一阶段是英伟达 AI 计算卡真正爆发期Tensor Core 从 Volta 开始引入Ampere 时代彻底巩固了统治地位。架构型号发布年份制程显存关键算力功耗VoltaTesla V100201712nm16GB/32GB HBM2FP16 Tensor 约 112 TFLOPS250W/300WTuringTesla T4201812nm16GB GDDR6FP16 Tensor 约 80 TFLOPS70WAmpereA100 80GB20207nm80GB HBM2eFP16 Tensor 约 312 TFLOPS300W/400WAmpereA1020218nm24GB GDDR6FP32 约 31 TFLOPS150WV100 发布时很多人没意识到 Tensor Core 意味着什么但从结果看它直接让 FP16 混合精度训练成为可能。之前用 P100 训练 ResNet大家还老老实实用 FP32而 V100 的 Tensor Core 把矩阵乘法这种核心操作交给专用单元速度比通用 CUDA 核心快了一个数量级。加上英伟达在 cuDNN 里做了大量针对性优化深度学习框架几乎不用改代码就能吃到红利。这也是为什么直到今天很多老一点的训练集群里 V100 还在服役。Turing 计算卡里我特别想提 T4因为它是一款面向推理的低功耗小卡只有 70W却塞进了 16GB 显存和不错的 Tensor Core。早期在线推荐系统、图像分类这类生产级推理服务大量用 T4因为它可以插在普通服务器里不需要专门的高功耗供电和散热设计单卡能扛的并发又足够。后来英伟达推出 A10、L4走的都是这条路推理卡不追求极致的峰值算力而是追求每瓦性能、显存容量和部署便利性。A100 则是把 Tensor Core 的规模和灵活性提升到了一个新高度。它支持 TF32、BF16、FP16、INT8 多种精度其中 TF32 是英伟达专门为兼容 FP32 训练流程设计的——AI 框架里很多张量数据原本以 FP32 存储直接砍成 FP16 会掉精度TF32 在保证训练收敛效果的同时把矩阵运算提速。A100 还有一个后来被广泛使用的特性MIG即把一张卡切成多个实例给不同租户或任务用。在多租户云环境里这个功能非常实用否则一个小任务占一整张 A100 实在太浪费。2.3 Hopper、Ada、Blackwell从单卡走向超级节点到了这一阶段单卡性能已经很强但大模型训练的需求增长更快于是英伟达的思路从“做好一张卡”变成了“做好一个超大系统”。架构型号发布年份制程显存关键算力功耗HopperH100 SXM20224N80GB HBM3FP16 Tensor 约 989 TFLOPS700WHopperH20020244N141GB HBM3e算力同 H100带宽 4.8TB/s700WAdaL40S20234N48GB GDDR6FP32 约 90 TFLOPS 级别350WBlackwellB20020244NP192GB HBM3eFP4 算力 20 PFLOPS 级别1000W 级别BlackwellGB200 NVL7220244NP每 GPU 192GBFP4 整柜算力 1.4 EFLOPS 级别整柜液冷H100 相比 A100 最大的变化是把 Transformer 引擎作为卖点专门优化了 Transformer 类模型里的算子还在 FP8 上做了大量工作。FP8 精度训练是 H100 时代的标志性特性它让超大模型的显存占用和通信量明显下降训练千亿参数模型不再需要把集群规模撑到夸张的程度。H100 的 SXM 版本功耗高达 700W散热从风冷变成必须认真设计的环节很多数据中心从此开始考虑液冷方案。H200 是 H100 的显存增强版把 HBM3 换成了 HBM3e容量直接到 141GB带宽到 4.8TB/s。对于推理场景来说显存容量比算力更金贵。跑 70B 级别的大模型以前 80GB 的 H100 可能放不下需要拆分H200 单卡就能装下很多模型省去了跨卡通信的麻烦。Blackwell 是当前最新一代B200 做了双 die 封装把两颗芯片拼成一个整体晶体管规模超过 2000 亿。这个阶段英伟达的注意力已经完全转向超大规模集群GB200 NVL72 这种整机柜方案直接把 72 个 GPU 和 36 个 CPU 用 NVLink 连成一个大域配合液冷整柜 AI 算力达到 EFLOPS 级别。说实话这个级别的机器已经不是普通团队能碰的但它代表了整个行业的方向模型继续变大算力继续堆高单卡越来越难独立完成一个任务系统级设计才是决定上限的地方。3. 规格表背后的硬核知识精度、显存、互联、功耗怎么读3.1 浮点精度体系FP64、FP32、TF32、BF16、FP8、FP4很多人看计算卡规格只看“XX TFLOPS”但这里有个大坑不同精度下的算力差天差地别。一个通俗的类比是FP64 是精雕细琢FP32 是普通加工FP16 和 BF16 是快速冲压INT8、FP8、FP4 就是流水线批量生产。数字越大单位时间能处理的运算次数越多但精度越低。实际选卡时要分场景看FP64 用于科学计算、流体力学、气象模拟英伟达从 Volta 开始其实一直在削弱消费者级卡的 FP64只有计算卡保留。FP32 是传统 AI 训练的老标准早期模型都用它但现在基本让位给了混合精度。TF32 是 A100 引入的本质上用 FP32 的动态范围但只保留 10 位尾数矩阵计算速度大幅提升训练收敛性又不会差太多。FP16 和 BF16 是现在大模型训练的主流精度。BF16 比 FP16 有更大的指数范围更容易避免溢出所以很多大模型训练更偏好 BF16。FP8 在 H100 上开始发力适合某些阶段的训练和推理加速。FP4 是 Blackwell 的新招牌主要面向推理场景尤其是超大模型的在线服务能把单 token 成本压得很低。我见过不少新手的误区买卡时只看到“XX TFLOPS”很高却不知道这个数字可能是 FP4 或者稀疏化下的数值真实跑 FP16 稠密矩阵时性能可能只有那个数字的几十分之一。所以看规格表第一件事先搞清楚每个数字对应什么精度以及有没有带“Sparsity”两个字。3.2 显存体系GDDR 和 HBM 的分工以及大模型显存怎么算显存方面英伟达一直走两条技术路线游戏卡和入门计算卡用 GDDR高端计算卡用 HBM。GDDR 的成本相对低容量也可以做得不小但带宽和能效不如 HBM。HBM 的特点是位宽极宽带宽高到夸张但成本高、容量扩展受限制所以只在最顶级的计算卡上出现。显存容量对大模型部署是硬约束。一个粗略的估算方法是模型参数量乘以精度字节数再乘上额外的激活和梯度开销。比如一个 70B 参数的模型用 FP16 加载光是权重就接近 140GB推理时加上 KV Cache单卡 80GB 很难装下但如果是 INT8 量化到约 70GBH200 或者 A100 80GB 就有机会单卡跑。训练场景更复杂梯度、优化器状态都要占显存同样的 70B 模型预训练可能动辄需要几十张卡。这也是为什么显存容量和带宽往往比峰值算力更早成为瓶颈。从带宽数字也能看出端倪K40 的 GDDR5 带宽只有 288GB/sP100 的 HBM2 到了 720GB/sA100 80GB 的 HBM2e 到了 2039GB/sH200 到了 4800GB/sB200 到了 8000GB/s。带宽决定了 GPU 能不能及时把数据喂给计算单元很多实际任务里计算单元空转等待数据的现象根源就是显存带宽不够。3.3 互联体系PCIe、NVLink、NVSwitch 与集群网络单卡再强大模型也得靠多卡协同。这里互联技术的重要性不亚于 GPU 本身。PCIe 是通用总线每一代都在升级从 PCIe 3.0 x16 的约 16GB/s 单向带宽到 PCIe 4.0 x16 的约 32GB/s再到 PCIe 5.0 的约 64GB/s。看着不慢但在多卡大模型训练里如果要用到张量并行每步迭代都要同步大量梯度数据PCIe 带宽很容易成为瓶颈。NVLink 是英伟达自己做的 GPU 间高速互联。V100 时代 NVLink 2.0 单卡约 300GB/sA100 是 NVLink 3.0 约 600GB/sH100 到了 900GB/sB200 则是 NVLink 5 约 1.8TB/s。NVLink 的高带宽让多卡之间的数据交换速度接近本地显存访问这是大规模训练能把效率做上去的关键。NVSwitch 则是一个交换机芯片用来把多张卡组成一个全互联拓扑。8 张 H100 通过 NVSwitch 连在一起任意两张卡之间的通信都可以走 NVLink 全速而不是像传统树形拓扑那样绕路。再往上跨节点之间通常走 InfiniBand 或 RoCE 网络。很多团队只关注 GPU 型号忽视了节点间网络结果训练效率被通信拖垮这种情况我见过太多次了。3.4 功耗、散热的演进从风冷到液冷最后是功耗和散热。早期 K40 只有 235W普通服务器风冷轻松搞定。A100 到了 400W普通散热也能压住但机箱风道要做好。H100 到 700W 后风冷已经比较吃力很多服务器整机都开始支持液冷。Blackwell 的 B200 功耗接近 1000WGB200 NVL72 这种机柜方案更是明确要求液冷因为整柜功耗可能高达 100kW 以上如果靠风冷风扇噪声、机柜发热和电力消耗都会非常难看。这里我给个实用建议如果你在规划机房买 H100 以上级别的卡先算好电力和散热余量。40kW 一个机柜是常见的门槛超过这个门槛就要考虑液冷、高压直流供电、甚至机房承重改造。很多人只看 GPU 采购成本结果整套基础设施的配套投入远超预期。4. 这些卡到底怎么选训练、推理、HPC 的典型方案4.1 大模型预训练和微调如果是大模型预训练基本选型逻辑很直接预算够就上 H100/H200更高端就直接看 GB200 这类系统级方案预算有限就考虑 A100 80GB甚至多张 A100 组合。预训练对显存、算力、互联三方面要求都极高所以买卡不能只看单卡算力还要看集群的 NVLink 域和网络带宽。微调场景则灵活很多。常见的 LoRA、QLoRA 这类参数高效微调对显存的要求比预训练低得多一张 A100 80GB 或者 L40S 48GB 都能跑不少 7B、13B 模型。如果只是对已经做好的底座模型做指令微调T4 级别都可能够用关键看你的并发和响应速度要求。我的经验是微调先根据显存估算选卡再根据迭代速度反推是否需要升级到 H100 级别不要一上来就追最贵的。4.2 推理和边缘部署推理场景有另外一套选卡逻辑在线服务要关注延迟和吞吐离线批量推理要关注吞吐和成本。T4、A10、L4 这类中低功耗卡非常适合大批量推理尤其是推荐系统、内容审核、图像识别这些场景。大语言模型在线推理如果模型很大就要上 A100 80GB、H200、B200 这类大显存卡因为单卡装下模型越完整跨卡通信越少延迟越低。考虑到成本和功耗很多团队会做量化FP16 转 INT8甚至转 FP8、FP4。量化之后模型体积变小原来需要 2 张卡的模型可能 1 张卡就跑下来单 token 成本显著下降。Blackwell 的 FP4 能力对推理场景尤其重要这也是为什么很多做大规模模型服务的公司会重点关注下一代卡的 FP 精度性能而不是只看 FP16 数字。4.3 HPC 科学计算和图形渲染HPC 场景要格外注意 FP64 和 NVLink 的能力。P100、V100、A100、H100 这一线产品保留了较强的 FP64适合做流体、分子动力学、气候模拟。而 L40S、A10 这类偏图形或 AI 推理的卡FP64 性能几乎可以忽略买来做科学计算会非常痛苦。我是见过有人拿游戏卡跑有限元分析的结果速度比专业计算卡慢好几个量级问题就是出在 FP64 被严重阉割。图形渲染和 AI 结合的场景比如数字人、3D 内容生成L40S 是个常见选择显存够大图形性能和 AI 性能平衡还能通过 vGPU 做多用户共享。RTX 系列消费卡虽然也便宜但在数据中心环境里的稳定性和驱动支持不如专业计算卡企业生产环境我不太建议用消费卡硬扛。4.4 整机与集群规划思路选卡从来不是只选 GPU 型号而是选一套系统。要考虑几个匹配关系CPU 能不能喂饱 GPUPCIe 通道够不够内存容量和速率是否匹配网卡是否达到训练要求的带宽供电和散热是否满足。很多时候问题了半天最后发现瓶颈不在 GPU而在 CPU 单核性能或者网卡带宽。小规模场景我建议多卡机用官方整机方案因为驱动、固件、散热和互联拓扑都经过验证。超大规模集群则要提前规划网络架构是用 InfiniBand 还是 RoCE存储用并行文件系统还是对象存储这些都会影响最终训练效率。5. 部署实战中的常见问题与避坑记录5.1 显存不够不是换卡就行很多人一遇到 OOM 就想着换更大显存的卡但有时候问题出在代码本身。混合精度没开、梯度检查点没开、batch size 设置过大、显存碎片化这些都可能导致明明显存够却报 OOM。排查时先看 nvidia-smi 显示的显存占用再用 PyTorch 的显存统计接口逐层分析有时候把加载顺序调一下或者开个梯度累积问题就解决了根本不用升级硬件。nvidia-smi nvidia-smi -q -d MEMORY这两条命令是排查显存问题的基础。第一条看整体占用和进程第二条看详细显存状态。5.2 互联带宽不对多卡效率上不去多卡训练时最典型的坑是明明插了 8 张卡训练速度却不像 8 卡。大概率问题出在互联上可能是 PCIe 通道分配不对导致某些卡跑在 x8 甚至 x4 上也可能是 NVLink 没有正确启用GPU 之间走了 PCIe 回退还有可能是节点间网络带宽不够集合通信卡死。排查办法很直接看一下 nvidia-smi 里的 NVLink 状态确认链路是正常连接的跑一下 NCCL 的 allreduce 测试看看多卡通信带宽是否接近理论值。如果带宽差太多先查 BIOS 里的 PCIe 配置和线缆连接再查网络驱动和 NCCL 版本。我个人踩过的坑是新卡装好以后没注意 NCCL 和驱动版本不匹配结果通信性能打了五折折腾很久才发现是软件栈问题。5.3 电源、散热、机柜承重都要提前算高端计算卡的电力需求非常夸张H100 SXM 700WB200 接近 1000W。一台 8 卡 H100 服务器整机功耗轻松到 10kW 以上普通机柜 10A 或 16A 单路供电根本带不动。数据中心机柜的功率密度、空调容量、UPS 冗余都要在装机前做容量规划。散热上风冷机器要保证前后风道通畅不能把机柜门关死。液冷机器则要做漏液检测、管路规划机房楼层承重也需要评估。这些东西不需要你成为机电专家但如果完全不管机器装好以后各种过热降频、跳闸重启会把你折磨疯。5.4 驱动、CUDA、框架版本匹配最后说一个最常见也最烦人的问题软件栈版本匹配。GPU 硬件更新很快但 CUDA、cuDNN、PyTorch/TensorFlow 等软件不一定马上支持最新卡。新的 Blackwell 卡在旧版 PyTorch 上很可能直接跑不了即使能跑性能也上不去。我的习惯是拿到新卡以后第一步先查官方文档的 CUDA 支持矩阵第二步再装对应版本的 PyTorch 或 TensorFlow第三步跑一个小的 ROCm/纯 CUDA 矩阵乘测试确认算力能发挥出来。这些看似繁琐但能避免后面大量莫名其妙的 bug。还有一个容易忽略的点是驱动版本nvidia-smi 显示的驱动版本如果太低很多新特性根本不会启用。6. 最后说点个人体会从 Kepler 到 Blackwell我一路用下来最大的感受是硬件参数只是起点真正决定项目成败的往往是你对算力场景的理解。K40 时代大家还在为怎么把显存省着用发愁到了 H100 时代又开始为散热和电力发愁每一代卡都在解决上一代的问题但同时也把系统复杂度推得更高。我现在拿到一张新卡第一件事不是急着跑大模型而是先花半天把 nvidia-smi、NCCL 通信测试、常见精度的小矩阵乘法全部跑一遍确认硬件状态和软件栈是健康的。这套流程看起来很基础却能避开后面绝大多数的“性能问题”。如果你正准备搭建自己的 GPU 环境也希望你能从这篇文章里得到一点可复用的经验少走一些弯路。