遇到的情况:A6000 & A800 跑出来的效果不同(同环境、同数据集、同代码、同cuda)
排除了:系统环境编码、NCCL环境、Ray分布式环境、版本不对齐等问题
关注服务器本身:
A800属于Hopper系列GPU,默认启用vLLM=v1(有新内核)
A6000属于Ampere,不启用,fallback到v0内核
最终export VLLM_USE_V1=0解决
之前在H20的卡(Hopper系列)也work,可能是因为Hopper架构比A800更新,使用了v1
来自尧图项目组的一线实战观察与深度解析
遇到的情况:A6000 & A800 跑出来的效果不同(同环境、同数据集、同代码、同cuda)
排除了:系统环境编码、NCCL环境、Ray分布式环境、版本不对齐等问题
关注服务器本身:
A800属于Hopper系列GPU,默认启用vLLM=v1(有新内核)
A6000属于Ampere,不启用,fallback到v0内核
最终export VLLM_USE_V1=0解决
之前在H20的卡(Hopper系列)也work,可能是因为Hopper架构比A800更新,使用了v1
更多一线实战笔记与深度复盘,助您持续精进