上个月朋友发我一张账单，说他在云上租了4张A100微调一个7B模型，一周烧掉两万块钱。我第一反应不是心疼，而是你先别急着掏钱，这个场景下GPU、LPU、TPU到底谁划算，真不是看谁跑分高说了算。过去半年我接触了至少十几支做大模型应用的小团队，嘴上都说要追求性价比，实际选型时全凭习惯：要么无脑上GPU，要么看到某篇评测说TPU便宜就心动，还有被LPU低延迟宣传吸引的。结果账单出来，没有一个人是笑着的。
这篇我就把三种芯片的老底翻一遍，从底层原理到真实成本，再到不同场景下的实际表现，最后聊聊普通人怎么用最少的钱跑起来。我们不说虚的，直接看算盘怎么打。
1. 为什么AI芯片会长成三个模样：一场底层架构的路线之争
选芯片之前，先搞清楚这三位为什么不是同一种东西。很多人以为GPU、TPU、LPU都是"加速人工智能的芯片"，差别只是品牌和价格。这个理解基本等于"都是车，为什么有的跑赛道有的拉货"——设计目标根本不同，驾驶方式自然天差地别。
1.1 GPU：从一个渲染工具硬生生长成了算力工蜂
GPU一开始是给游戏和图形渲染设计的。图形渲染有个特点：屏幕上有上百万个像素，每个像素的颜色计算彼此独立，本质上是"大量重复的简单计算"。所以GPU的架构走了SIMT路线（单指令多线程），用几千上万个轻量级核心同时干活。游戏时代它是给每个像素算颜色，到了GPGPU时代，大家发现这个架构做矩阵乘法、卷积运算也意外地快——因为这些深度学习操作同样是"大量重复计算”。于是NVIDIA硬生生把显卡变成了AI时代的印钞机，从V100到A100再到H100，一路堆出以亿计的晶体管。
用流水线车间来理解：GPU就是一个上万员工的工厂，每人只负责拧一颗螺丝，然后传给下一个人。它能极高效率地批量处理海量小任务，但本质上没有"深度思考"能力——每一个核心都是简单的算术单元。最关键的是，围绕GPU长出了CUDA这个几乎垄断的生态，你想跑个PyTorch、TensorFlow，一行pip install就完事，全世界最大的软件兼容码头都在这儿。
1.2 TPU：谷歌把矩阵乘法直接焊进了芯片里
GPU虽然强，但谷歌在2016年前后开始抱怨：跑深度学习模型时，大部分时间都花在矩阵乘法上，用GPU去算就像用通用机床专攻一个特定零件，浪费。于是他们做了一个极端决定——既然Transformer、神经网络本质上就是矩阵乘法，那干脆把芯片做成"只会做矩阵乘法但做得飞快"。这就是TPU（Tensor Processing Unit）的由来。
TPU的核心是脉动阵列（Systolic Array），数据像水一样在计算单元之间流过，每一步做完立刻传给下一个单元，中间几乎不来回搬数据。这个设计对Transformer非常友好，因为大模型训练和推理的绝大多数计算量都集中在矩阵乘。TPU从v2开始支持训练，到v4、v5e/v5p已经能在超大规模预训练里和H100正面掰手腕。
但它有个明显短板：灵活性远不如GPU。你可以把GPU理解成一个什么活都能接的工程施工队，把TPU理解成一条只做钢筋加工的流水线——加工钢筋无人能敌，但你让它顺便修个门窗，它就没辙了。而且在商业市场上TPU基本不单独卖，你要么上谷歌云，要么在Colab和Kaggle的免费额度里体验，本地你几乎摸不到真机。这本身就是一种巨大的隐性约束。
1.3 LPU：专治"聊天慢半拍"的顺序执行怪才
LPU（Language Processing Unit）是Groq公司的产品。Groq做芯片的思路和前面两位完全相反。它觉得大模型推理的瓶颈根本不在算得慢，而在"等数据等得慢"。GPU要跑到高吞吐，必须配高带宽显存（HBM），但就算HBM再宽，推理时模型参数还是要一遍一遍从显存里搬过来。每次都要搬，就一定会排队。
LPU的思路是用超大容量的SRAM直接怼在计算单元旁边，数据几乎零等待，配合顺序执行架构，专注降低端到端的延迟。你如果用它跑对话模型，第一句话吐出来的速度比GPU快一大截，这就是为什么Groq的公开演示总给人一种"秒回"的爽感。
打个比方：GPU像一个大食堂，几百个窗口同时开火，高峰时段单点一份菜可能要等一会儿，但总出餐量大。LPU像单人厨师的私房菜馆，你下单他立刻现炒，第一个菜上得极快，但如果同时来五十个客人，他一个人根本忙不过来。所以LPU目前的定位很明确：适合在线交互、低延迟优先的推理服务，不适合大规模训练，也不适合复杂多变的算法流程。
三种芯片到底差在哪，我整理了一个粗暴但好记的对照表：
| 维度 | GPU | TPU | LPU |
|---|---|---|---|
| 设计初衷 | 图形渲染与通用并行计算 | 专门加速矩阵乘法 | 专门降低语言模型推理延迟 |
| 核心逻辑 | 大量核心并行处理 | 脉动阵列流水式计算 | 顺序执行 + 大容量SRAM |
| 灵活性 | 高，什么算子都能跑 | 中，深度模型运算快，其他偏弱 | 低，面向语言模型推理 |
| 生态成熟度 | 极高（CUDA） | 中（XLA、部分框架适配） | 低（需专门转换和适配） |
| 获取方式 | 本地买卡/云租都行 | 基本只有云 | 云服务为主，按token计费 |
| 最擅长场景 | 训练、微调、通用深度学习 | 大规模训练、吞吐优先 | 在线对话、低延迟推理 |
你如果已经看出"没有绝对王者"，说明方向对了。真正的关键问题不是"谁更强"，而是"你的负载长什么样"。
2. 四个容易忽略的账单：算完这笔账，性价比才谈得上
说到性价比，十个有九个只看一个数字：单卡每秒能做多少次浮点运算（TFLOPS）或者每美元能买到多少TFLOPS。我劝你先冷静，芯片标称算力和你实际能用上的算力完全是两码事，而钱花在哪些地方，远比纸面参数复杂。我按照一个真实项目的记账法来拆，你感受一下差距。
2.1 账单一：硬件本身的租金和残值
单看采购，一张H100在国内市场大概要二十几万人民币，A100也要十多万。大多数人不会买，所以看租赁价格：按小时租一张A100大约三五十块到上百块不等，H100更贵，TPU实例在谷歌云上按pod/按chip小时计费，价格也不便宜，Groq的LPU则对外按token数收费，不用买机器。
这里要注意一个容易被忽视的"残值"问题。GPU买了之后如果闲置，二手市场还能回收一部分；TPU和LPU你没有实物，一旦停止续费，前期跟云深度绑定的适配工作就全部沉没。换句话说，你用LPU或TPU跑通了一套代码，锁在别人的生态里，哪天它调价你就只能被动接受。
2.2 账单二：电费和散热，机房里最沉默的吞金兽
一张A100的TDP大概在400瓦以上，H100更高，逼近700瓦。你以为只算单卡功耗就完事了？服务器里还有CPU、内存、网卡，加上机房制冷，一个8卡节点整机功率轻松到10千瓦。按工业电价和冷算，一度就算8毛钱，一台机器开着一年光电费就是七八万。自建机房还得算UPS、空调、机柜空间和运维人力，这笔钱经常比芯片租金还狠。
我在帮朋友做方案时遇过一个案例：他咬牙买了一台8卡机器，结果公司选址在居民楼附近的办公区，机房空调散热根本压不住，夏天高温报警频繁，最后只能降频跑——性能打了九折还额外加了一台专业空调。那台空调的钱，够租一颗4090跑一年。
2.3 账单三：人的时间，才是最贵的开发成本
这个账很多人不算。GPU为什么贵还卖得好？不是因为算力最强，而是因为全世界90%的AI工程师都会用。装个PyTorch GPU版，nvidia-smi看一眼，拿来即用。TPU呢？装个torch_xla，调试XLA编译，跑通一个模型的时间成本可能是GPU的三倍；LPU更不用说，生态还在早期，算子支持有限，不是所有模型都能直接跑。
举个例子：我见过一个团队贪TPU每小时单价便宜，结果迁移一个微调脚本花了两个工程师两周。按工程师日薪算，这笔迁移成本够在GPU上多训练好几轮了。开发者的时间在技术选型时应该算成第一成本，大多数团队恰恰把它当成免费的。
2.4 账单四：真实利用率，标称算力要打折再打折
最误导人的就是拿峰值算力比单价。真正决定你花钱效率的，是芯片在你这套负载下的实际利用率。训练场景还好，batch size拉大，利用率能到50%-70%；但如果是在线聊天推理这种交互式负载，GPU集群的利用率经常低得吓人。
我自己就干过这种蠢事：在8卡A100上部署一个7B聊天模型，单次请求延迟确实很低，但我盯着nvidia-smi一看，单卡利用率经常在10%到20%之间跳动，其他七张卡几乎在睡觉。那一刻我才意识到，用打桩机去砸核桃，不是打桩机不好，是负载和工具不匹配。算性价比之前，先算清楚你的实际吞吐和并发形态。
用一个简化模型来算：假设你运营一个7B模型的在线推理服务，每天需要处理100万次请求，每次请求约1千token，连续跑一年。云上租GPU按小时计费，按token计费的LPU按调用量收费，大致的感觉是这样的：
| 维度 | GPU方案（A100 8卡） | TPU方案（云上TPU v5e） | LPU方案（Groq云端推理） |
|---|---|---|---|
| 算力覆盖 | 轻松覆盖，还有富余 | 覆盖，需适配 | 吞吐高，长token成本需细看 |
| 主要成本 | 卡时租金 + 运维 | 实例租金 + 迁移开发 | token费用 + 集成开发 |
| 开发成本 | 最低 | 中等偏高 | 中等 |
| 适合规模 | 中小团队灵活起步 | 有一定工程能力的大团队 | 交互量大且追求低延迟的产品 |
| 长期锁定风险 | 低 | 高（绑云生态） | 高（新生态） |
这个表不是让你直接抄作业，而是示范一种算法：不要只比"每小时多少钱"和"每秒多少token"，要把电费、运维、开发、风险全部折算进去。实际跑过才有体会。
3. 不同场景下的赢家：别被峰值算力带偏
说了这么多，来点直接可用的结论。我按日常接触最频繁的几类工作负载逐一拆，你对照自己属于哪一类，答案自然浮现。
3.1 大模型预训练与全参微调：GPU和TPU的正面对决
如果是从头预训练或全参微调一个大模型（7B以上），且你有足够的工程能力，TPU在纯算力价格比上有时能打赢GPU——它天生就是吃矩阵乘法这碗饭的。但这是有前提的：你的团队要能驾驭XLA编译，能把模型结构和数据处理改成TPU友好的方式，谷歌生态的东西你得玩得转。否则，哪怕TPU再便宜，卡在编译和适配上的时间成本早把差价吞了。
对绝大多数团队来说，GPU仍然是预训练和微调的最优解，不是因为它便宜，是因为它"不折腾"。CUDA生态太完整了，你要的算子几乎都有现成的实现，遇到问题搜索引擎一捞一大把答案。时间即金钱，这句话在训练任务里是字面意思。
3.2 LoRA微调和推理落地：为什么大家转一圈还是回到GPU
现在最主流的中小团队玩法是拿开源基座模型做LoRA微调：用7B或13B的底座，加自己领域的少量数据，训练量不大但迭代频繁。这个场景我强烈建议GPU。
为什么？LoRA微调本身计算量有限，一张消费级4090甚至都能跑7B的LoRA。这时候谈单卡理论算力意义不大，真正关键的是调试效率。你用GPU，今天改数据明天出结果，一天能调十轮；落到TPU上，每次改完都要等编译，光来回编译的时间就让你怀疑人生。我自己在Kaggle免费TPU上试过跑PyTorch，折腾了半天XLA适配，最后发现同样的活还是回本地GPU干最快。
推理阶段也一样，GPU生态对推理框架（比如vLLM、TensorRT-LLM）的支持最成熟，各种量化、批处理加速手段应有尽有。哪怕LPU单token延迟再低，你要部署的工具链、监控体系、模型转换方案，在GPU这套体系里才是全家桶配置。
3.3 在线对话与低延迟推理：LPU的玫瑰和它的刺
如果你做的是人机对话、助手类产品，用户体验和"首字延迟"强相关，LPU确实值得正眼看待。Groq的在线Demo给我的印象很直接：同样一个7B模型，LPU给人的感觉是马上有反应，而GPU经常要先顿一顿再开始吐字。这个差别在产品里可能决定用户觉不觉得"它听得懂人话"。
但LPU的甜蜜点不是免费的。首当其冲的是生态封闭，它支持的模型需要转换适配，不是所有开源模型拿来就能跑；其次是吞吐极限，在线推理并发低时它很爽，一旦你追求超高并发或超长上下文，它的优势会被快速稀释，按token计的账单蹭蹭往上飙。更现实的是，现在不少云服务商也把Groq的能力封装成标准API，你通过API接入，体验已经不错，完全没必要自己纠结要不要买一套LPU。
3.4 小模型和终端场景：真正的主角不是这三家
还要泼一盆冷水：如果你的业务是移动端App、嵌入式设备或者PC端小工具，那么GPU、TPU、LPU其实都跟你没太大关系。这类场景看的是端侧NPU或者CPU+NPU混合调度，比如手机芯片里的NPU、PC集成显卡的AI加速单元。你用PyTorch在英特尔核显上跑GPU推理，也不是走CUDA，而是走OpenVINO或者DirectML这条路线。所以别一谈AI就直奔高端服务器芯片，先把工作负载的落点钉死再说。
4. 普通人最关心的省钱实操：免费GPU、租卡选型与CPU兜底
聊完战略，来点战术。我默认看这篇文章的人大概率没有几卡集群，目标是花最少的钱把模型跑起来、把实验做出来。这部分我直接讲经验，不讲理论。
4.1 免费GPU的几条熟路，以及里面的潜坑
想零成本跑深度学习，靠谱的路子有这么几条：
- Kaggle Notebooks：每周免费大概30小时GPU，型号是T4或者P100级别，跑一般的视觉模型和小的Transformer够用。缺点是会话有时限，长时间训练要拆任务。
- Google Colab：免费版有T4，想用更好的就得订阅。优势是跟Google Drive配合比较顺，适合小规模实验。
- Hugging Face Spaces：一些免费的CPU/GPU实例可以跑demo，适合快速验证推理效果，不适合重度训练。
- 百度的AI Studio、阿里的天池等：国内平台也有免费算力额度，注册后送一些GPU券，做入门学习完全够用。
潜坑也有几个。第一，免费额度通常有单次运行时长限制，你跑一个需要连续好几天的任务，跑到一半被掐断是常态，训练脚本一定要做好断点续训。第二，免费TPU额度虽然香，但你别高兴太早——我前面说过，PyTorch在TPU上绕不开torch_xla，很多自作聪明的骚操作在TPU上直接报不支持，建议第一天就先把官方迁移指南读一遍。第三，注意数据隐私，免费平台的文件系统是临时的，敏感数据别往上放。
4.2 租GPU的隐藏体验：别只看显存和价格
钱不够买卡时，租是主流方案。但租卡有几个坑，我踩过，也必须告诉你。
- 显存是入门指标，不是全部。很多人租卡先看"24G显存"，觉得显存够大就能跑大模型。但一张卡实际算力是老一代还是新一代、NVLink有没有、GPU间通信带宽够不够，这些对分布式训练才是决定性的。你拿四张老卡跑模型并行（Tensor Parallelism），每两个token之间都要同步一次，通信带宽不够，算力再多也白搭，效果甚至不如一张新卡顺畅。
- 按小时和包机价格差很多。长期训练任务一定要问包月或包周价，很多平台按小时算贵得离谱，但包月能砍到五折以下。竞价的Spot实例适合容错高的任务，半夜中断了你爬起来重启就是。
- 到手先跑基准测试再付长单。别信平台的型号描述，自己写个简单的矩阵乘法脚本或者直接跑一遍你的训练步数，看看每秒能处理多少样本。我遇到过号称"优化版"的4090实际速率只有正常卡的八成，问客服才知道是功耗墙被锁了。
- 注意驱动和CUDA环境。租的机器有时带着乱七八糟的旧环境，
nvidia-smi看到驱动版本不对，直接跟平台要干净的镜像，别自己浪费几个小时装环境。
4.3 没有高端GPU时，量化加CPU照样能跑大模型
这个可能反直觉，但我要强调：你想体验7B甚至13B模型，不一定非要高端GPU。在消费级CPU上，用4bit量化跑小型模型，目前已经非常流畅了。工具就选llama.cpp或者Ollama，按官方文档编译安装，模型文件下载好直接在命令行交互。我自己在一台普通办公电脑上跑过7B量化模型，每秒能吐十几个token，虽然不如GPU快，但做知识问答、文本总结这类非实时任务完全够用，还省下真金白银。
如果你有显卡但显存不够，也可以把一部分offload到内存里，速度差一些，但至少能跑起来。做实验验证、跑通流程，这个兜底方案比反复纠结租卡划算多了。
4.4 GPU环境配置的常见翻车点
最后提一下最基础的配置问题，别笑，这题每天都有新人问。装PyTorch GPU版之前先确认三件事：显卡驱动装了没、CUDA版本匹配不匹配、cuDNN齐不齐。最简单的检查方式：
nvidia-smi如果命令能正常打印出显存使用情况，驱动基本没问题。然后装PyTorch建议用官方给出的命令（pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121之类的），重点是要跟你的CUDA版本对上，别直接无脑装默认CPU版，装完跑torch.cuda.is_available()发现是False就一脸懵。
英特尔核显用户想跑GPU版本的PyTorch，CUDA这条路走不通，得绕道OpenVINO或DirectML，别硬按NVIDIA教程配置，方向错了再折腾也是白费。格式工厂这类软件提示GPU加速不出来，八成也是驱动或显卡设置问题，先到显卡控制面板里把硬件加速开关打开，再查软件设置，别一上来就重装软件。
5. 我的选择逻辑：先算负载，再确定芯片，最后才谈折扣
这三四年我看了太多选型翻车案例，自己也交过不少学费，慢慢养成了一个固定的决策顺序，分享给你做参考。第一步，先定义负载性质：你是做训练（一次算好久）、微调（频繁迭代）、在线推理（延迟敏感）还是离线批处理（吞吐优先）？第二步，看团队栈：你的人是CUDA熟练工还是谷歌生态熟手？多数人是前者，那就老实选GPU。第三步，算真实TCO：把采购、电费、开发、维护、风险全部折算成钱，别只看每卡每小时单价。第四步才轮到折扣和谈判。
顺带说一下我对趋势的判断：定制化AI芯片（比如各种NPU、ASIC）一定会越来越多，因为Transformer应用太集中，专用芯片天然能打赢通用芯片。但GPU的生态壁垒太强，它在训练和通用负载上的地位短期内不会崩塌。LPU这类新势力会先在特定推理场景站稳脚跟，但要让主流开发者迁移，它还要补很长时间的生态账。作为普通用户，我们不需要做第一个吃螃蟹的人，跟随成熟生态、在边缘场景尝鲜，才是最稳的性价比。
最后再分享一点个人体会。我见过太多人，包括我自己早期，是先买了一堆算力，再想它跑什么。正确顺序应该是颠倒的：先把手上的模型、数据、延迟要求理清楚，算出真实负载，再去挑芯片。很多时候，你的负载根本没到需要纠结芯片的程度——免费额度加一张普通显卡已经能解决90%的问题。把剩下的精力花在模型质量和产品打磨上，那才是真正的性价比之王。
