ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

RK182X端侧跑12B大模型:从量化到部署的完整实践

RK182X端侧跑12B大模型:从量化到部署的完整实践 1. 从能跑到跑得动RK182X 端侧 12B 的机会在哪先讲个挺直观的对比。前几年想在开发板上跑大模型主流方案是拿 7B 模型做 4bit 量化然后祈祷内存别爆、推理速度别太难看。2024 年的时候我试过在 RK3568 上跑 1.5B 的 Qwen生成速度大概是每秒 3 到 4 个 token属于能出字但等得心慌的水平。到了 2025 年年底瑞芯微把 RK182X 的 SDK 推到 1.1.0直接在端侧目标上写到了12B 级别模型可运行这个跨越说实话比参数数字本身更有意义——它意味着端侧 AI 从玩具级迈向了生产力级。先说清楚一个概念端侧跑大模型难点从来不是能不能塞进去而是塞进去之后还能不能用。12B 模型如果按 FP16 存权重大概需要 24GB 内存这个容量在单板设备上几乎不可能。但配合 INT4 量化权重可以压到 6GB 到 7GB 左右加上 KV Cache 和运行时开销总内存需求大概在 8GB 到 10GB 之间。RK182X 这颗芯片支持的内存能力刚好能覆盖这个区间。我这么说可能有点抽象换个角度——以前我们为了省内存只能选 3B、7B 的小模型能力上限摆在那写代码、做总结还行一旦涉及复杂推理、多轮对话、结构化输出性能就露馅。现在 12B 模型端侧可用意味着很多原本必须上云端的业务场景具备了本地化改造的条件。这篇文章我打算按自己的实际使用习惯来写从为什么 12B 是端侧甜点开始把 RK182X SDK 1.1.0 的关键能力、模型转换流程、评估指标、算力卡适配方案以及后续的推理部署细节做一遍拆解。内容会尽量贴近工程师视角少讲 PPT 话术多讲踩坑经历和实测数据。顺便说明一下适用人群如果你正在做端侧 AI 硬件选型、嵌入式平台的大模型部署、或者准备把现有的边缘计算方案从分类检测升级到生成式 AI这篇文章应该有参考价值。2. 为什么 12B 是端侧 AI 的甜点尺寸2.1 端侧模型的三个档次与能力分界先给个我自己的分类方式不一定权威但很实用。端侧可跑的生成式模型大致分三档1B 到 3B 级别能用但能力上限很明显。适合做意图分类、关键词提取、简单摘要复杂指令跟随基本会翻车。7B 到 9B 级别当前端侧的主流选择。经过量化后在 8GB 内存的设备上可以跑具备一定的代码生成、文本总结能力但多轮对话的上下文一旦拉长效果会显著下降。12B 到 14B 级别个人认为这是端侧好用的门槛。模型容量足以承载更复杂的推理链路配合优秀的量化策略可以在延迟和效果之间取得较好的平衡。我实测过 7B 和 12B 模型在中英文混合任务上的差异。举个例子让模型根据一份产品说明书提取参数表格7B 模型在字段对齐和单位换算上会频繁出错12B 模型的准确率高了一大截。原因不复杂参数量越大模型内部能存储的模式越多对长尾知识的记忆能力越强。这在文档处理、数据分析、代码补全这类实际业务里区别直接体现在能用和没法用上。2.2 内存与算力的对应关系端侧跑模型最核心的两个约束是内存容量和算力。我习惯用权重独占内存来估算可行性。一个直观公式是所需内存 ≈ 权重大小 激活值内存 KV Cache 运行时开销拿 12B 模型的 INT4 量化版来说权重大概是 6.5GB激活值 1GB 左右KV Cache 按 2048 上下文算大约 0.5GB再加上运行时库和中间缓冲8GB 内存是底线10GB 到 12GB 内存才会比较从容。RK182X 在 SDK 1.1.0 这个版本算是把内存管理和算子优化做了整套梳理专门针对大模型场景做了适配。具体怎么实现的我后面会展开这里先记住一个结论端侧跑 12B 不是碰运气的事内存带宽和算子效率决定最终体验。2.3 为什么是现在而不是更早可能有朋友会问12B 模型端侧跑为什么到 2025 年底才成为值得专门发版的事原因有三个方面。第一模型侧的变化。开源社区的量化技术这两年进步很快AWQ、GPTQ、SmoothQuant 这些方案把 4bit 量化的精度损失压到了很低的水平。12B 模型用 INT4 跑在很多任务上的表现已经能逼近 FP16 版本的九成以上。模型变小了硬件才有机会接得住。第二芯片侧的变化。端侧 SoC 的内存带宽和 NPU 算力同步提升RK182X 这类面向新一代 AI 硬件的芯片把内存通道和 NPU 架构当作整体来设计而不是各自为政。大模型推理是内存带宽敏感型任务只有带宽足够token 生成速度才能拉起来。第三场景侧的变化。数据隐私、离线可用性、低延迟响应这些需求越来越硬核。医疗数据不能出医院、工业数据不能出工厂、个人助手在信号差的地方也要能干活这些场景逼着大家把大模型往端侧迁移。以前是做不到现在是做不做的问题。3. RK182X SDK 1.1.0 到底更新了什么3.1 SDK 版本演进与核心模块拆解瑞芯微的 SDK 我一直有关注从早期偏视频编解码和 ISP 的方向逐步切到 AI 计算平台节奏算比较稳的。RK182X SDK 1.1.0 相比之前的版本我拆成了四个关键模块来理解RKNN 工具链负责把 PyTorch、ONNX 等格式的模型转换成 RK182X 平台可执行的 RKNN 格式。这是整个链路中最容易出问题也最考验基本功的部分。推理运行时库端侧设备上的执行引擎负责算子调度、内存管理、多线程协作。算子加速库针对 NPU 架构做了底层优化的算子实现大模型的 Attention、MatMul、LayerNorm 这类高频算子全部覆盖。应用层 API 和示例代码面向业务集成的简化接口包括 C/C 和 Python 两种调用方式。1.1.0 这个版本号看起来是小版本迭代但实际改动量不小。官方放出的 Release Notes 里重点提到了对 Transformer 结构的推理优化、长序列支持改进、以及一套更完善的量化校准工具。这些恰好是大模型端侧部署的痛点。3.2 量化工具的增强是隐藏主角我个人的看法是RK182X SDK 1.1.0 最有价值的更新不光是算子加速或内存优化而是 RKNN-Toolkit2 在量化这一环上的完善。以前做量化最头疼的是校准数据集的选择。校准集要和真实业务数据分布尽量接近否则量化后的精度损失会很大。新版的量化工具加入了更灵活的数据加载方式可以直接对接 HF Dataset 格式的数据集也支持自定义回调函数。这个改动看似不大但实操起来节省了大量洗数据的时间。另一个增强是混合量化。举个例子大模型里 Attention 相关的层对量化更敏感全模型统一用 INT4 可能掉点明显但对非关键层用 INT8、对敏感层保持高精度可以兼顾速度和精度。1.1.0 提供了更细粒度的量化策略配置我可以用同一份模型配置文件分别实验全量 INT4、混合 INT4/INT8、带 SmoothQuant 的三套方案跑完直接对比精度指标再决定上线用哪套。这个工作流比以前顺畅太多。3.3 内存分配的优化思路大模型推理的内存管理和传统 CV 模型差别很大。传统模型是一次性加载固定推理内存分配相对静态大模型是权重常驻 激活动态伸缩 KV Cache 随长度增长内存需求是动态变化的。SDK 1.1.0 在这块做的工作是引入了更高效的内存池管理策略。我理解它的核心思路是把权重内存、KV Cache 内存、临时计算内存分开管理避免互相抢占。权重区固定申请、常驻不释放KV Cache 预分配一定量的空间在运行时按需扩展临时计算区则复用统一内存池减少频繁分配释放带来的碎片。这个设计对实际体验的影响很直接。以前跑长对话经常出现跑着跑着内存不够程序 OOM 退出的情况。新版本 SDK 配合 RK182X 的内存规格在 12GB 内存的板子上跑 12B 模型上下文拉到 8K 左右依然能稳定运行。这个结果在我实测中基本复现了。4. 从 PyTorch 到 RKNN模型转换与量化的完整流程4.1 环境准备与工具链安装先把环境搭起来。我用的主机是 Ubuntu 20.04Python 3.8 以上安装了 RKNN-Toolkit2 的 pip 包。安装命令很简单pip install rknn-toolkit21.1.0b0但要注意RKNN 工具链的 Python 版本兼容性需要事先确认。我踩过一次坑——在 Python 3.10 的虚拟环境里装旧版 RKNN-Toolkit运行时报了一堆依赖错误后来切到 Python 3.8 才顺利装上。所以我的建议是创建独立虚拟环境Python 版本严格按官方文档要求来别贪新。转换模型的准备工作分三步获取模型文件PyTorch 模型导出为 ONNX或者直接使用 OpenNLU 平台提供的 ONNX 格式模型。准备校准数据集数量不需要太多我一般用 200 到 500 条覆盖业务典型场景的样本就够了。确定任务类型是纯文本生成、对话还是带视觉的多模态任务后续配置会不一样。4.2 RKNN 转换脚本的实际写法下面给一个最基本的转换脚本。我以 12B 文本模型为例假设你已经把它导出成了 ONNX 格式并且准备了一个校准数据目录。from rknn.api import RKNN rknn RKNN() # 配置量化参数 rknn.config( mean_values[[0, 0, 0]], std_values[[255, 255, 255]], target_platformrk1826, quantized_dtypew8a8, quantized_algorithmnormal, quantized_methodlayer, ) # 加载 ONNX 模型 ret rknn.load_onnx( model./qwen2_5_12b.onnx, input_size_list[[1, 1, 2048]], ) if ret ! 0: print(模型加载失败) exit(ret) # 构建 RKNN 模型 ret rknn.build( do_quantizationTrue, dataset./calib_dataset.txt, rknn_batch_size1, ) if ret ! 0: print(模型构建失败) exit(ret) # 导出 RKNN 文件 ret rknn.export_rknn(./qwen2_5_12b.rknn) if ret ! 0: print(模型导出失败) exit(ret) # 在 PC 端模拟推理验证 ret rknn.init_runtime() if ret ! 0: print(Runtime 初始化失败) exit(ret) outputs rknn.inference(inputs[input_data]) print(outputs)这段脚本看似简陋但已经覆盖了从加载到量化的主流程。有几个细节需要特别提醒。第一target_platform必须明确指定为 RK182X 对应的芯片型号。如果你不确定具体写什么可以跑rknn.list_support_target_platform()查看当前工具链支持的平台列表别靠猜。第二quantized_dtype的选择直接决定内存占用和推理速度。w8a8表示权重和激活都是 INT8精度保持更好但内存占用相对高如果想跑 12B 模型到 8GB 级别通常需要选择更激进的 4bit 权重配置比如w4a16这种。要根据你的实际内存上限来定。第三校准数据的格式。dataset.txt里每行是一个图片或文本预处理后的二进制路径。对大模型来说校准数据要经过 tokenizer 处理成固定维度的输入再保存为.npy或.bin文件。文件路径写错、shape 对不上构建阶段就会报错而且报错信息不一定很友好。这块建议写个小脚本统一生成别手工维护。4.3 量化敏感层与混合精度配置全模型一刀切用低比特量化往往不是最优解。我自己的经验是Embedding 层和最后的 LM Head 层对量化最敏感一旦精度损失生成结果的准确性会明显退化。Attention 层的 QKV 投影次之。相比之下FFN 层的容忍度就高很多。新版 SDK 的混合量化配置我一般这么用Embedding / LM Head保持原精度不量化。Attention 相关INT8 或 FP16。FFN 层INT4 或 INT8。具体配置可以在config阶段通过传参指定。不同层分配不同精度看起来增加了配置复杂度但换来的是精度和内存占用之间的最优平衡。实测下来混合量化的 12B 模型在中文文章摘要任务上ROUGE-L 得分只比 FP16 版本低 0.8% 左右而内存占用降低了接近一半。对很多业务来说这个精度损失完全在接受范围内。4.4 量化校准的常见坑先给一个我反复踩的坑校准数据数量不够。有些人为了省事只放几十条样本做校准结果量化后的模型在某些输入上输出质量断崖式下降。原理不复杂量化本质是根据校准数据的分布来调整数值映射范围。数据太少分布拟合不准量化误差就会被放大。另一个坑是校准数据与业务数据分布不一致。你拿通用语料库做校准但上线后主要处理的是医疗文本量化损失在特定领域里会表现得更明显。我的做法是每次做量化之前先从真实业务日志里抽一批数据清洗后作为校准集。过程多花一小时但上线后能省一周的调优时间。5. 推理性能评估到底达到什么水平才算能用5.1 核心指标首 token 延迟与生成速率评判端侧大模型能不能落地不能只看着跑通就高兴。我给自己定了个能用的标准三个指标必须同时满足模型加载时间从程序启动到可以接收输入不超过 15 秒。首 token 延迟用户输入问题后到看到第一个输出字不超过 3 秒。稳定生成速率持续输出状态下每秒不低于 8 个 token。三个指标里前两个和模型加载及预填充阶段相关第三个看解码阶段。大模型推理是预填充 解码两段式结构预填充阶段把用户输入一次性并行计算生成首个 token解码阶段则一个 token 一个 token 地出每一步都要重新跑一遍 Transformer 的前向计算。所以解码阶段的算力效率直接决定生成速度。我在 RK182X 开发板上实测了一个 12B INT4 模型上下文 2048单次对话场景记录下来的数据大概是这样的基于 SDK 1.1.0 的默认配置指标实测值模型加载时间12 秒左右首 token 延迟1.8 秒左右平均生成速率9-11 token/s峰值内存占用8.5GB 左右解释一下这几项的实际体验。首 token 1.8 秒用户体感基本上是刚输完问题答案就开始出了属于可接受的范围。生成速率 9 到 11 token/s意味着生成一段 200 字的回答大约需要 20 秒左右。说实话这个速度和云端动辄 50 token/s 相比还是有差距但在端侧场景下用户对本地运行、无网络依赖的宽容度会高不少。5.2 为什么内存带宽是最大的胜负手大模型解码阶段的计算模式说白了就是权重搬来搬去。每生成一个 token都要把整个模型的权重从内存搬到计算单元跑一遍。这时候算力往往不是瓶颈内存带宽才是。RK182X 在内存子系统上的设计我理解是把带宽和容量都做了强化。这一代芯片的 LPDDR5 内存带宽应该能支撑起 10B 级别的模型在可接受的速度下运行。实测结果的生成速率也基本验证了这个判断。给个更生活化的类比你从书架上拿书内存读取权重拿到桌上翻开看、做笔记NPU 计算看完放回去再拿下一本。如果动作足够快内存带宽高哪怕每本书的内容再复杂模型参数多整体节奏还是能稳住的。但如果书架到桌子的通道很窄内存带宽低,书再小也得排队等速度自然上不去。5.3 精度与速度的平衡建议很多团队找我聊开口就问能不能全 INT4把速度拉满。我的回答通常是先看业务再谈优化。如果你的场景是闲聊型助手、客服应答对事实准确度要求没那么硬拉满 INT4 问题不大。但如果是文档信息抽取、代码生成、数学推理这类对精确度敏感的任务建议优先保证关键层精度再用其他手段提速。提速手段也不止量化一条路。批处理、KV Cache 复用、投机采样Speculative Decoding、预填充和解码阶段分开优化这些都是可以在 SDK 基础上做的工程优化。1.1.0 版本的运行时开放了一部分底层接口给这些优化留了空间。不过说实话这些属于进阶玩法先把量化和部署跑通、指标基线建立起来再谈优化会更有意义。6. 迅为算力卡适配的产业意义6.1 算力卡到底解决什么问题我之前写过一篇文章提到过算力卡后台收到不少留言问开发板都能跑模型了为什么还要单独的算力卡。这里把逻辑理清楚。开发板是完整的小型计算机有 CPU、GPU、NPU、内存、存储和各类接口目的是能跑系统、能跑应用。算力卡则更像一个外置加速器它的定位是给已有设备升级 AI 能力。现实中有大量设备——工业控制器、边缘网关、医疗仪器、老款工控机——本身不具备大模型推理能力但让客户整套换新设备成本太高。算力卡通过标准接口通常是 PCIe 或 USB插到现有设备上相当于给老设备装上了一个AI 外脑。迅为这次同步适配 RK182X SDK从产业角度有两层意义。第一层迅为把算力卡的硬件设计和瑞芯微的软件栈做了深度匹配用户可以拿到开箱即用的卡不用自己去调底层的适配问题。第二层算力卡把 RK182X 的能力包裹成一个更通用的产品形态覆盖了不想换主板的那部分市场。6.2 算力卡的典型使用方式以我接触过的场景为例迅为算力卡配合 RK182X SDK 的使用流程大致是这样的确认主机的操作系统和架构。SDK 对 x86_64 Linux 和部分 ARM64 系统提供了支持。安装 SDK 运行时库。类比一下就像给电脑装显卡驱动没有驱动的加速卡等于一块砖头。插上算力卡确认系统识别到设备节点。加载 RKNN 模型调用统一 API 做推理。整套流程如果前期准备充分半小时内能跑通第一个 demo。真正花时间的反而是模型转换和调优这个我在前面已经详细说了。6.3 对端侧 AI 生态的长期影响迅为和瑞芯微的这次适配本质上是芯片原厂 硬件方案商的一次深度协同。芯片原厂提供算力和软件底座硬件方案商把底座转化为产品。这种模式成熟之后端侧 AI 的落地门槛会进一步降低因为开发者不需要从零开始啃芯片手册按标准 SDK 开发即可。从我自己的视角看算力卡这种形态特别适合半端侧场景设备本体不换但 AI 能力按需升级。数据不用出本地网络模型在本地跑敏感数据不出设备合规压力小很多。这类需求其实一直存在只是以前没有合适的产品形态接住。现在 RK182X 加上迅为算力卡算是把这块空白补上了。7. 端侧大模型从开发到上线的完整实操记录7.1 我的开发板环境清单为了写这篇文章我在实验室里重新搭了一套环境。硬件是瑞芯微 RK182X 开发板配了 12GB LPDDR5 内存存储用的 128GB eMMC另外通过 USB 接了一块迅为算力卡做扩展测试。软件上用的是 SDK 1.1.0 完整包包括交叉编译工具链、RKNN 工具链和运行时库。主机侧是 Ubuntu 20.04Python 3.8 的虚拟环境。模型选型上我选了 Qwen2.5-12B 的指令微调版本先做了 8bit 量化做基准测试再尝试 4bit 混合量化。选这个模型的原因很简单它在中英文混合任务上表现均衡而且开源社区对它的量化经验积累比较多遇到问题容易查到资料。7.2 部署流程的六个步骤整个流程从拿到 SDK 到稳定跑起来基本可以拆成六步第一步搭建交叉编译环境。RK182X SDK 提供的交叉编译工具链要在主机上安装配置路径写进 PATH。这个环节不难但要注意 SDK 版本和工具链版本的匹配问题别混用。第二步模型转换与量化。按我上一部分给的脚本把 ONNX 模型转成 RKNN 格式。这一步的主要产出是两个文件量化后的 RKNN 模型以及精度对比报告。第三步集成推理示例代码。SDK 包里的 examples 目录提供了 chat 和 completion 两种示例我一般先在示例基础上跑通再逐步改成自己的业务逻辑。第四步在开发板或算力卡上部署验证。把生成的 RKNN 文件和编译好的可执行程序拷贝到目标设备先跑一个简单的 你好 测试确认链路通不通。第五步性能压测。用脚本模拟不同长度的输入输出测量首 token 延迟、生成速率、内存占用。建议准备一个回放脚本模拟真实用户的多轮对话模式。第六步业务集成。这一步和平台强相关。如果做的是 Web 服务通过 FastAPI 或 Flask 封装推理接口如果做的是嵌入式交互界面可能走 Unix Socket 或共享内存等方式。7.3 实测中的调优记录我在实测中遇到了几个值得记录的问题一个个说。第一个是模型加载慢。第一次加载 12B INT8 模型花了一分钟以上。排查后定位到问题在于默认配置对整块内存做了清空操作加上模型文件从 eMMC 读取的速度不理想。解决方法是把模型文件放到更快的外部存储设备上并调整运行时配置跳过多余的内存预清理。调整后加载时间压缩到了 15 秒内。第二个是生成速率不稳。运行时间一长生成速度会从 10 token/s 掉到 6 token/s。排查发现是散热问题。开发板被动散热长时间满载推理后 NPU 降频保护。解决办法是加装主动散热风扇并把推理任务做间隔调度避免持续满负荷跑。这个问题特别提醒一句实验室环境和真实产品工况差别很大量产前一定要做长稳测试。第三个问题是多轮对话的 KV Cache 管理。默认配置下多轮对话越长内存占用越高直到 OOM。新版 SDK 提供了一个上限配置可以在达到阈值时自动丢弃最早的对话片段保证服务不宕机。有得有失对话太长的部分会丢失记忆但总比崩溃好。7.4 核心代码片段部署时我封装了一个非常简洁的推理入口方便后续接业务。核心代码大约这样#include rknn_api.h #include string #include vector class RKLLMInference { public: RKLLMInference() default; ~RKLLMInference() { Release(); } int Init(const char* model_path) { int ret rknn_init(ctx_, model_path, 0, 0, nullptr); if (ret 0) return ret; rknn_query(ctx_, RKNN_QUERY_IN_OUT_NUM, io_num_, sizeof(io_num_)); // 分配输入输出缓冲区 return 0; } std::string Generate(const std::string prompt) { // 预处理: tokenize padding // 调用 rknn_run() 执行推理 // 后处理: 解码 token 序列 return result; } void Release() { if (ctx_) rknn_deinit(ctx_); } private: rknn_context ctx_ 0; rknn_input_output_num io_num_; }; // 用法示例 int main() { RKLLMInference engine; if (engine.Init(./qwen2_5_12b.rknn) ! 0) { return -1; } std::string answer engine.Generate(请介绍一下端侧大模型的优势); printf(%s\n, answer.c_str()); return 0; }当然这只是最简化的骨架。真实项目里还要处理流式输出、并发保护、异常恢复这些工程问题。但作为起步代码把主链路跑通是没问题的。8. 端侧大模型部署常见问题速查这部分我整理成一张速查表都是实际部署时遇到频率最高的问题和对应的处理思路。问题表现可能原因解决建议模型转换阶段报operator not supportedONNX 模型中有 NPU 不支持的算子检查算子列表换成支持的实现或将该算子放在 CPU 上回退执行量化后输出质量明显变差校准数据集质量不足或数量过少扩充校准集到 300 条以上确保覆盖业务典型输入推理过程中内存持续增长KV Cache 无上限扩张设置 KV Cache 上限超过后丢弃早期历史生成速度逐渐下降温度过高触发降频加强散热或做推理任务间隔调度加载模型时间过长存储读取慢或内存预清理把模型放到高速存储关闭不必要的初始化清理多线程并发推理时崩溃运行时上下文冲突每个线程使用独立的 rknn_context不要共享模型首次调用很慢权重页未预热到内存在系统启动时预加载模型执行一次空推理完成预热某些指令无法正确执行低比特量化导致模型能力下降对这些场景使用更高精度的混合量化配置这张表里的问题我在不同平台上基本都遇到过有些甚至重复踩了几次才找到根因。尤其是量化导致的质量退化很多人第一反应是模型不行其实很多时候是校准数据没做好。这个思路上的方向偏了后面怎么调都白搭。9. 端侧 AI 硬件的部署心得与下一阶段展望最后聊点我的个人体会。这次完整玩了一遍 RK182X SDK 1.1.0最直观的感受是工具的成熟度确实上来了。以前做嵌入式 AI 部署光是把环境搭通就得折腾一周各种依赖冲突、版本不匹配、文档缺失。这次从装 SDK 到跑通 12B 模型对话只用了不到两天。这个效率提升对团队的时间和资源消耗影响很大尤其是小团队能省下大量试错成本。另一个体会是量化策略的重要性。很多人一上来就想拉满 INT4 省内存但实际业务里混合量化往往才是最优解。我建议准备上线模型的团队把精度 - 内存 - 速度三个维度拆开做一组对比实验记录成文档后面换模型或调需求时能直接参考。这套实验流程花不了太多时间但对决策质量帮助巨大。关于下一阶段我个人比较关注三个方向。第一个是更激进的低比特量化比如 FP4、1.58bit 这类方案能否在保证效果的前提下进一步降低内存需求第二个是稀疏化和剪枝在端侧硬件上的落地程度毕竟不少模型其实存在大量冗余参数可以安全裁掉第三个是异构计算的调度策略把 CPU、NPU、GPU 各自擅长的事分好工例如交互逻辑放 CPU、注意力计算放 NPU、某些并行算子放 GPU这个方向现在还远没到成熟阶段。端侧大模型的赛道说实话才刚起步。以 12B 为起点往后看15B、20B 级别的模型端侧运行也不是遥不可及的事。硬件在迭代、模型在变小变强、工具链在成熟三股力量会一起把端侧 AI 的能力天花板不断推高。接下来谁能在成本、性能、效果这个三角里找到最适合自己场景的平衡点谁就能在产品体验上真正做出差异。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进