跑大模型推理服务这几年我最大的感受是真正卡脖子的往往不是模型本身而是框架对底层芯片的适配。同一套代码换个加速卡可能就要改一大堆算子、重新编译、再调半天Batch策略。最近团队在把 SGLang 部署到昆仑芯Kunlun上跑顺手把框架里的“多芯插件机制”彻底捋了一遍这套东西确实值得单独拿出来聊聊。这篇文章不是翻译文档也不是纯原理科普而是把我们踩过的坑、调过的参数、最后沉淀下来的可复现方案原原本本写出来。内容会比较聚焦什么是多芯插件机制SGLang 在昆仑芯上如何做适配以及从安装、部署到调优的完整实操流程和避坑清单。1. 为什么推理框架需要“多芯插件机制”先从一个最朴素的问题切入。如果你只跑过一个芯片、一个框架你可能体会不到多芯插件机制的价值。但凡是做过国产化适配、或者想在异构集群里同时混用多类加速卡的人几乎都会遇到下面这类场景。1.1 芯片生态碎片化带来的痛点现在的AI芯片早已不是“只有 CUDA 一种选择”的时代。GPU之外国产加速卡、FPGA、ASIC 不断进入生产环境。每家芯片都有自己的SDK、算子库、内存管理方式和编译工具链。芯片厂商为了让框架跑起来往往要维护一个很大的框架分支今天补个算子、明天修个内存泄漏分支越拉越长最终和上游完全脱节。具体到实际部署常见的痛苦有三类框架代码写死了特定芯片的原语换卡就要改源码甚至重新设计数据流。多卡混布时调度器无法感知每张卡的真实能力只能按最慢的卡去兜底。厂商适配代码长期留在框架主干之外版本升级时反复合并冲突。多芯插件机制要解决的正是这类“硬件差异被框架结构吞掉”的问题。1.2 插件化抽象面向接口而不是锁定硬件所谓多芯插件机制核心思路并不复杂把框架对硬件设备的访问收敛到一组统一的接口上不同的芯片通过实现这组接口来注册成“插件”。框架不再直接依赖某个厂商SDK而是面向抽象接口编程。这样带来的直接好处有三个第一新增芯片支持时不需要动框架主干的调度逻辑和前端API只需要写一个新的插件实现。第二框架和芯片之间做到解耦上游升级框架版本时插件层可以独立跟进不用整个框架跟着厂商分支走。第三运行时可插拔同一套服务里可以加载多个设备插件根据请求或模型的特性把负载分配到不同的设备上。从工程实现的角度看这套设计很像后端服务的“驱动模式”。框架是业务逻辑插件是驱动设备是资源。只要驱动接口定义得足够稳定业务逻辑就不需要关心设备具体是哪个厂商。注意插件机制不是万能药。接口定义的好坏决定了适配成本。如果接口过细每个芯片都实现得很痛苦如果接口过粗调度器又拿不到必要的设备状态。后面我会结合 SGLang 的实际接口设计来讲这个度在哪里。1.3 SGLang 在多芯支持上的天然优势SGLang 本身是围绕大模型高性能推理设计的前后端一体化框架核心卖点是 RadixAttention前缀复用、连续批处理Continuous Batching和高效的调度策略。很多人以为它只能在某种特定芯片上跑其实从架构上 SGLang 很早就考虑了设备抽象层具备扩展多芯片后端的能力。这个“设备抽象层”就是我们说的多芯插件机制落地的底座。通过注册自定义的算子实现和内存管理实现理论上可以把 SGLang 的前端、调度器、采样器统统复用起来只替换底层执行部分。这也是我们选择在 SGLang 上做昆仑芯适配的原因之一——不是从零造轮子而是把轮子正确接上车。另外SGLang 良好的模块化结构还让“插件”不需要侵入核心调度逻辑。我们只需要把注意力集中在算子层、内存管理接口和流处理方式这几个相对独立的模块上。2. 深入拆解SGLang 的设备抽象与插件接入方式这一章是整篇文章中最重的地方。我们要完整拆解 SGLang 是怎么把设备差异隔离在框架外围的以及昆仑芯适配时到底改了哪些东西、为什么那么改。2.1 核心接口与注册流程SGLang 里设备的抽象不是单一大接口而是按照功能分成好几层。我们实际用下来最关键是下面这四块设备信息描述包括设备名称、计算能力、支持的数据类型、显存/内存容量、芯片代数等。这是调度器做决策的依据。算子执行接口框架调用的算子走这里具体实现由插件提供。凡是框架用到的算子都要在插件里落到厂商算子库上。内存管理接口负责申请、释放、缓存复用。对推理框架来说KV Cache 的分配策略直接影响吞吐。流与事件机制负责并行控制、同步等执行语义。对应的插件注册流程大体上是初始化时扫描可用的设备编译器与运行时环境。读取配置中指定的插件类型比如昆仑芯插件。插件自检设备是否可用返回设备句柄与能力描述。框架将算子调用请求通过统一接口派发给对应插件。插件把请求翻译成厂商SDK的调用并处理同步与内存复制。有意思的是SGLang 的注册并不要求在启动时一次性完成。它可以按需注册、延迟初始化这非常符合多芯片混布场景的需求——启动时不需要提前感知所有设备类型插件可以在设备可用时才激活。2.2 算子层适配最耗时但也最套路算子适配是插件机制中最核心、也最容易出问题的一环。大模型推理用到的算子相对固定核心集中在GEMM矩阵乘Prefill 阶段的大矩阵乘、Decode 阶段的较小 GEMM。Attention 系列包括 GQA/MHA 的 fused kernel以及 page attention 相关算子。RMSNorm / RoPE /激活函数等elementwise类算子。采样相关算子top-p/top-k 筛选、softmax 等。这些算子只要数量少、接口稳定适配起来就有固定套路。把框架里的算子调用逐一对到芯片算子库写一个薄翻译层即可。真正麻烦的是 Attention 里的 page 管理和 KV Cache 布局。芯片的算子库往往只支持标准的连续内存注意力实现而 SGLang 为了前缀复用和高效调度使用的是分页式 KV Cache这就对算子实现提出了额外要求。我们这里没有走“全部自己写 kernel”的路线而是尽量用厂商SDK提供的融合注意力接口同时自己在内存管理层做KV Cache 的连续化与Page映射。效果还不错下面实操部分会给出具体参数。2.3 内存管理与图执行上的芯片差异适配昆仑芯时第二个大头是内存管理。SGLang 默认的设备内存管理是按GPU显存来设计的——申请、释放、显存池复用全部走统一接口。昆仑芯虽然有类似显存的管理方式但它同时有自己的二级内存Host侧的大块内存可以用来做一些辅助计算如果直接按 GPU 的思维去管理很容易漏掉这块资源的利用。在 SGLang 的插件实现里我们额外实现了内存分池接口按照“计算用设备内存”和“缓存用主机/设备混合内存”两个池子来管理算子执行和激活值使用设备内存走快速分配路径。KV Cache 前缀缓存部分尽量留在设备内存中但允许溢出到主机侧映射区域降低OOM风险。长上下文场景下把一部分临时状态放主机侧减少设备端碎片。图执行方面昆仑芯的运行时是图模式为主而 SGLang 的调度器是逐请求动态插入算子。如果每个请求都触发一次建图开销会非常夸张。我们的做法是在插件层做算子缓存按请求的shape动态范围预编译多档图模板运行时只做模板匹配复杂度从“每次建图”降为“查找最优模板”。这一块是性能差距最大的地方也是最值得在前面花时间设计的地方。实操心得不要在适配的第一版就追求“完全动态”。先把静态shape和分档模板跑通整体性能就能达到可用的水平之后再逐步开放动态能力。2.4 多芯插件机制下的调度扩展插件机制不只是“可以换设备”它还给调度策略带来了新空间。SGLang 的调度器核心是按请求的 token 数和优先级做连续批处理。如果能够从插件拿到设备级信息调度器就可以做更聪明的决策。我们在插件接口上额外暴露了三个信息设备当前的利用率与显存水位。设备对不同长度序列的擅长程度比如某些芯片对长 Prefill 效率高对短 Decode 一般。设备是否支持某些算子融合决定某类模型是否可以下发到该设备。基于这三个信息我们在调度层增加了“路由偏好”逻辑长上下文请求优先分配到 Prefill 能力强的设备短交互请求优先分配到低延迟设备。这个机制上线后混布场景下的整机吞吐比单策略方案提升了大概百分之二三十。这部分完全是插件机制带来的增量收益。3. 实操全记录SGLang-Kunlun 部署与调优理论说完直接上操作。下面这段是我们实际部署时一步步走通的流程包含环境选择、编译选项、启动参数以及最终的离线压测指标你可以直接以此作为搭建参考。3.1 环境准备与依赖版本先说结论再解释原因。我们最终采用的稳定组合是操作系统Ubuntu 22.04 LTS内核 5.15Python3.10芯片驱动与运行时厂商推荐的最新 stable 版本PyTorch2.1.x与芯片SDK兼容性最好的版本CUDA Toolkit不需要昆仑芯不依赖CUDA但要装对应的算子编译器SGLang使用支持插件扩展的最新 release 分支这里有一个很重要的判断不要盲目追求 PyTorch 最新版本。推理框架对底层算子的依赖很强而厂商SDK通常只对特定版本的 PyTorch 做了兼容验证。选版本的核心标准是“SDK 声明支持”而不是“功能最新”。用太新的 PyTorch本地调试时容易出现解释器层报错表面上和插件无关实际却是 ABI 不兼容。注意装驱动之前先确认板卡已经被系统正确识别。比如使用厂商提供的诊断工具查看设备状态。驱动装好后重启一次再继续避免内核模块加载未生效导致后续编译失败。3.2 编译与插件启用环境就绪后进入 SGLang 源码目录先安装运行时依赖pip install -e python[all]然后在插件目录中启用昆仑芯后端。由于厂商SDK的构建方式有差异我们习惯写成一段独立的配置脚本不用交给框架去自动探测export SGLANG_DEVICE_PLUGINkunlun export KUNLUN_SDK_ROOT/path/to/sdk export KUNLUN_TORCH_EXTENSION_PATH/path/to/torch_extensions编译时有一个关键点SGLang 默认启用的是某些符合特定GPU架构的编译选项。如果直接编译会因为识别不到对应设备架构而跳过导致插件走代码回退路径性能大打折扣。建议在编译脚本里显式指定目标芯片架构名称并用厂商编译器生成算子包。编译成功后先跑一个最小验证python -m sglang.launch_server \ --model-path /data/models/qwen2.5-7b-instruct \ --host 0.0.0.0 --port 8000 \ --device-plugin kunlun如果启动日志里能看到插件自检通过的提示且模型权重加载阶段没有报缺失算子这台服务就算通了。3.3 关键运行参数与默认值调整真正影响性能和稳定性的是下面这几个参数。我们对比过多轮把结论整理成了表格参数默认值CUDA向昆仑芯推荐值调整原因--chunked-prefill-size40968192昆仑芯的矩阵乘更擅长较大批次的 Prefill适当提高分块大小能提升计算利用率--max-running-requests6496连续批处理的并行度可以从插件拿到更精确的内存水位建议放开上限换取吞吐--kv-cache-mem-fraction0.80.72设备内存池和主机映射池之间需要保留余量避免KV Cache 满导致频繁驱逐--schedule-policyrandomfcfs多芯混布时FCFS更有利于长请求的稳定排队避免随机策略带来尾部抖动--enable-prefix-cachingauto开启前缀复用特性必须开启否则长文档场景优势全无这些参数不是死的。比如你如果只跑短文本、高并发对话场景--max-running-requests可以继续调大如果跑超长文档--chunked-prefill-size反而要适当降低避免单个请求占用的临时缓冲区过大引起显存水位冲高。3.4 性能压测与数据解读我们用 7B 对话模型、单卡环境下做了一个基础测试这里直接给实测趋势而不是逐项精确数值因为具体芯片型号差异较大重点看相对关系。Prompt 长度在 2000 token 左右、输出 500 token 的混合请求流下开启连续批处理和前缀缓存后吞吐约为关闭插件机制时的 3 倍。长文档重复提问场景下相同前缀、不同后缀前缀缓存让首 token 延迟下降显著。当并发请求数超过 64 后瓶颈从计算转到了 Host 侧数据传输。此时需要检查设备内存和主机内存之间的复制次数尽量用异步复制来掩盖。值得强调的是多芯插件机制下的性能测试不能只看单指标。我们内部统一看三个数吞吐tokens/s、首 token 延迟TTFT和跨请求稳定率。只盯吞吐很容易忽略尾部延迟而推理服务在实际部署里恰恰对尾部延迟更敏感。4. 常见问题与排查实录这一章写我们在 SGLang-Kunlun 适配过程中真正踩过的坑。有些问题是 API 层面的有些则要到驱动或内存层面去查。4.1 编译通过但启动时找不到设备大概率是环境变量覆盖问题。框架在启动时扫描插件如果设备运行时库路径没有正确传给加载器就会报“device not found”之类信息但编译阶段完全正常。排查方法很简单先手工加载厂商运行时库再启动框架。python -c import torch; import kunlun_torch; print(kunlun_torch.device_count())如果这一步成功但框架启动仍然找不到设备就要检查是否在启动脚本里用了CUDA_VISIBLE_DEVICES这类让设备环境冲突的变量。多芯环境下有时会同时存在CUDA设备导致 SGLang 的设备探测逻辑优先选中了 CUDA 路径。4.2 某个算子报“not implemented”这个报错几乎每个做芯片适配的团队都会遇到。原因很直接框架里有条调用路径没被插件代理到。我们遇到的典型场景是采样层里的某些融合算子。在处理上先区分是“算子缺失”还是“分支未覆盖”算子缺失厂商算子库没有对应实现需要走自定义 kernel 或拆分成基础算子组合。分支未覆盖算子存在但调用时的特殊配置比如某类 mask 或是否使用自定义 attention没有传到插件实现里。推荐的排查方式是开启动态跟踪打印每个算子的设备侧落到路径。一次完整请求下来基本能定位到哪些算子走了默认回退哪些走了厂商实现。4.3 长上下文场景下显存/内存溢出推理框架最难处理的就是长上下文带来的显存波动。SGLang 的 KV Cache 是分页管理的理论上有上限保护但多芯插件如果对设备内存池和主机映射池没做隔离很容易出现“主池空闲、子池爆掉”的假OOM。我们的解法分两步插件层把缓存池分成独立区间互不挤占。在调度器侧把请求拆分规则传给插件让插件在预分配时就能预估峰值。如果真实硬件内存确实不够另一个常用策略是增加“溢出到主机侧”的阈值但要注意把 KV Cache 复制回设备内存的耗时也会增加。短上下文场景不敏感超长上下文场景要谨慎开启。4.4 性能上不去但资源利用率也不算高这个现象非常坑CPU占用不高、内存正常、设备端看起来也空闲但吞吐就是上不去。我们最终定位到是同步等待问题框架侧在等待设备算子完成时有几次不必要的同步调用把本来可以流水线化的任务打成了串行。解决方向有三类在算子执行接口上尽量使用异步提交不要每次都等待引擎层同步。检查框架侧是否有强制.item()或.cpu()的操作打断流水。对 Decode 阶段请求尽量把多步算子打包到一个设备流里提交。这一步优化做完我们的吞吐直接抬了一个台阶。建议大家在调参之前先确认没有同步等待这种结构性损耗否则调参收益会被掩盖。5. 多芯插件机制的最佳实践与扩展建议最后这部分不局限在昆仑芯上而是讲怎么把“多芯插件机制”这套设计用到更多场景中以及我们沉淀下来的几条原则。5.1 让“设备能力描述”参与调度决策这是我认为插件机制最有价值的地方——不仅是让框架“能用”某张卡而是让框架“用好”每张卡。我们在插件里暴露的能力描述字段直接参与调度打分。比如一台机器上同时有 A 设备擅长高吞吐和 B 设备擅长低延迟短请求调度器可以根据请求类型自动分流。这种动态路由做得越细混布收益越高。建议每个插件在能力描述里至少包含以下字段设备峰值算力与显存容量。支持的最大连续批次数。算子库覆盖列表重要缺哪些算子直接决定哪些模型不能下发。对 Prefill 和 Decode 的延迟特征。5.2 量化适配要前置考虑当前大模型部署几乎绕不开量化。SGLang 支持常见的 INT8/FP8/AWQ 等方案但这些方案都和具体芯片的算子实现强相关。做多芯插件时量化算子不能只做“能跑”的适配而是要考虑因素量化反量化操作是否能在设备端融合减少中间拷贝。权重打包格式是否符合设备的访存特性。激活值量化的边界在哪避免因精度损失导致输出质量明显下降。我们现在的做法是在插件能力描述里增加“支持量化格式”清单调度器在加载模型时先校验格式匹配不匹配就直接拒绝加载而不是运行时报错。这样能省掉很多产线上的黑屏式问题。5.3 可观测性多芯环境下的排障基础多芯插件机制带来的一个隐性代价是排障链路变长了。单芯片环境下错误栈一眼看到底多芯环境下框架、插件、厂商SDK三层都可能出问题。所以我们强烈建议在插件层做几个内建的可观测点每个算子的设备端耗时直方图。设备内存池水位变化曲线。插件自检状态的主动上报。缓存命中率与前缀复用率。这些指标不需要很复杂关键是输出成统一格式接入现有的监控体系。我们后期找性能瓶颈时基本都靠这些数据而不是靠猜。5.4 版本管理与灰度上线多芯插件机制能让框架主干与厂商适配解耦但也意味着插件会有独立的版本节奏。如果插件和框架之间没有做好版本兼容策略升级框架后插件失效会变成常态。我们现在的版本管理策略很简单插件与框架之间定义接口版本号插件声明自己支持的接口范围框架加载插件时先做版本协商不允许直接跳过。这样既能快速跟随上游又避免了悄悄不兼容。上线路径上建议先走离线压测再走影子流量最后再放生产。尤其推荐影子流量方案线上请求复制一份到新版本插件环境对比推理结果和性能。这一套下来基本不会出现“上线两小时才发现某个算子异常”的尴尬。6. 一点总结性经验非官方如果你问我做多芯插件机制和 SGLang-Kunlun 适配最难的是什么——不是算子不是调度也不是显存管理而是“能不能用框架内生的机制去解决问题”。一开始我们总想绕过框架直接在 SDK 层面做高效率算子结果每次框架升级都要重新适配。后来老老实实把插件接口吃透、把设备能力描述清楚反而整体效率大幅提升团队维护成本也降下来了。另外一个小经验做芯片适配时一定不要“赶在框架发布前提交适配代码”。与其踩上游 API 变动的地雷不如自己锁定一个稳定版本深入做优化把性能压榨到位再考虑同步上游。跑通只是开始跑得好才是真正目标。