• 人工智能
• 大模型
• 模型量化
• 本地部署

clef-flash-OptiQ-4bit 是 Cloudflare 9B 决策模型 clef-flash 的 4-bit 混合精度 MLX 量化版，专为 Apple Silicon 优化，约 8.3 GB 即可在 Mac 上跑通完整的"状态 + 问题 → 概率"决策推理。本文带你用配套的optiq lora train命令，把自己的业务判断经验微调进模型，做出属于自己的决策模型。

先认识"决策模型"：它和普通大模型哪里不一样？

普通大模型吐出的是一串文字，你需要自己解析；而决策模型（decision model）的工作方式完全不同：

• 输入：一段state（系统当前状态，任意 JSON 值）+ 一组带类型的questions；
• 输出：一次前向传播直接给出每个问题、每个选项的概率，没有生成文本，也没有解析环节；
• 接口：请求/响应体与 Jev / SystemOne API 对齐（/v1/systemone）。

它支持 3 种问题类型：

比如"支付页面一小时前开始全部报错"这个状态，你可以同时问两个问题："紧急吗？"（noul）和"该派给哪个团队？"（choice：billing / technical）。一次请求，所有问题的概率一次返回。模型内部结构可以看参考实现 joint_schema_model.py，其中 joint schema head 会为每个允许选项输出一个 logit。

为什么选 4-bit 量化版做微调底座

这个仓库由 mlx-optiq 构建，量化策略很讲究：敏感层保留 8-bit，其余层压到 4-bit，而负责输出的 joint schema head 与视觉塔保持全精度不变。

量化分配方案详见 optiq/metadata.json，joint head 的配置（4 层、16 头的小型路由网络）见 joint_head_config.json 与权重 joint_head.safetensors。

效果如何？仓库在 400 个案例、2000 个决策的 Typed Decisions 测试集上对比了本量化版与均匀 4-bit 量化版：

结论是：体积省下来，概率校准反而略好。完整数据见 README.md。

微调前的准备工作

1. 安装 mlx-optiq

pip install mlx-optiq

optiq命令会自动按模型 ID 拉取 clef-flash-OptiQ-4bit 的量化权重（model-00001-of-00002.safetensors、model-00002-of-00002.safetensors 等），无需手动下载。

2. 准备你的微调数据集

决策模型微调数据的核心是"状态 + 问题"记录，每条是一个 JSON 对象。最直观的例子（来自仓库文档）：

{ "state": "Checkout has been failing for every customer for the last hour.", "questions": { "urgent": {"type": "noul", "instructions": "Is this urgent?"}, "team": {"type": "choice", "criteria": { "billing": "Payments", "technical": "Outages and errors" }} } }

整理数据时有 3 个实用建议：

• 📌一条记录覆盖多个问题：决策模型的优势正是"一次前向、联合决策"，数据里尽量让同一state带 2~3 个问题；
• 📌criteria写清楚选项含义：选项说明文字就是模型的"判分标准"，写得越具体，微调收敛越快；
• 📌先覆盖高频场景：与其上万条平庸样本，不如几百条贴近你真实业务的案例。

用 optiq lora train 微调决策模型

为什么是 LoRA 而不是全量微调

9B 模型全量微调对显存的要求远高于 16GB 统一内存的 MacBook；而 LoRA 只训练低秩旁路矩阵，把 95% 以上参数冻住。对 Apple Silicon 来说这几乎是唯一划算的方案：

• 基座（含 4-bit 量化权重）只读加载，显存占用基本等于推理时；
• 训练产物只是一个小 LoRA 适配器文件，方便版本管理和回滚；
• 同一底座可以训练多套业务 LoRA，按需切换。

训练命令

基本用法（参数以optiq lora train --help输出为准）：

optiq lora train \ --model mlx-community/clef-flash-OptiQ-4bit \ --dataset train.jsonl \ --rank 16

几个关键参数：

💡 提示：微调目标是让 joint schema head 对不同问题的选项概率分布更贴合你的业务标准答案，所以"选项语义写得清 + 案例覆盖典型状态"比堆参数更重要。

训练之后：服务与验证

微调完成后，用 OptiQ 起服务，决策端点会自动开启：

optiq serve --model mlx-community/clef-flash-OptiQ-4bit

然后发一个 SystemOne 请求验证：

curl http://127.0.0.1:8080/v1/systemone -d '{ "model": "clef", "state": "Checkout has been failing for every customer for the last hour.", "questions": { "urgent": {"type": "noul", "instructions": "Is this urgent?"}, "team": {"type": "choice", "criteria": {"billing": "Payments", "technical": "Outages and errors"}} } }'

返回结果中每个问题会带上各选项的概率——这就是你的"专属决策模型"上线的样子。Python 侧也可以用DecisionModel.load(...)直接加载预测，无需起服务。

评估时建议盯住三个指标：Brier 分数（概率整体准不准）、KL 散度（概率分布离标准答案多远）、ECE（置信度校准好不好）。仓库给出的均匀 4-bit 参照值（Brier 0.1104 / KL 0.2126 / ECE 0.1204）可以当作你的"及格线"。

两个新手容易踩的坑

• ⚠️当前仅支持纯文本输入：请求里携带图片或视频会被明确报错拒绝，而不是"忽略图片照常回答"；
• ⚠️微调前先在量化版上跑通推理：确认基准行为符合预期，再叠加自己的 LoRA，出了问题才好定位是底座还是适配器的锅。

仓库关键文件速览

总结

微调属于自己的决策模型，用 clef-flash-OptiQ-4bit +optiq lora train的路线非常清晰：

1. 准备好"状态 + 类型化问题"的 JSONL 数据集；
2. 用optiq lora train在 Mac 上以小成本训练 LoRA 适配器；
3. optiq serve起服务，通过/v1/systemone端点拿到每个选项的概率；
4. 用 Brier / KL / ECE 对照基准验证效果，迭代数据和参数。

8.3 GB 的量化底座 + 一个小小的 LoRA 适配器，就是你跑在 Apple Silicon 上的专属决策模型。

• 人工智能
• 大模型
• 模型量化
• 本地部署