ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

vLLM在不同服务器部署踩坑记录

vLLM在不同服务器部署踩坑记录

遇到的情况:A6000 & A800 跑出来的效果不同(同环境、同数据集、同代码、同cuda)

排除了:系统环境编码、NCCL环境、Ray分布式环境、版本不对齐等问题

关注服务器本身:

A800属于Hopper系列GPU,默认启用vLLM=v1(有新内核)

A6000属于Ampere,不启用,fallback到v0内核

最终export VLLM_USE_V1=0解决

之前在H20的卡(Hopper系列)也work,可能是因为Hopper架构比A800更新,使用了v1

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进