📦LFM2.5-24B-A2B-Preview-mxfp4是 Liquid AI 出品的 LFM2.5-24B-A2B-Preview 混合专家（MoE）文本生成模型在 AppleMLX平台上的 mxfp4 量化版本。本文作为完整配置参考，对 config.json 与 generation_config.json 中的每个字段逐项说明，帮助你快速读懂这份 MLX 模型配置、正确加载并调优生成参数。

🧭 模型速览：24B 总参数，只有约 2B 激活

在逐项讲解之前，先建立整体认知：

仓库文件构成如下，均可在仓库根目录直接查看：

🏗️ config.json 逐项说明：模型架构部分

1️⃣ 身份与类型标识

2️⃣ MoE 专家路由核心参数

这是理解 LFM2.5 高效的关键——每层内部藏着一组"专家"，路由器每个 token 只挑选其中几个来工作：

3️⃣ 层结构与注意力机制

LFM2.5 采用卷积层（conv）为主、注意力层（full_attention）为辅的混合架构，这是它长上下文高效的重要设计：

💡小贴士：layer_types中的conv层用局部卷积替代全局注意力，长文本时计算量远低于全注意力层，这也是 128K 上下文能在消费级硬件上跑起来的关键。

4️⃣ 词表与特殊 Token

5️⃣ 量化配置解读（mxfp4 策略）

quantization与quantization_config（两者内容一致）描述了权重量化策略，这是理解 "-mxfp4" 后缀的核心：

"quantization_config": { "group_size": 32, "bits": 4, "mode": "mxfp4", "language_model.model.layers.2.feed_forward.gate": { "group_size": 64, "bits": 8 } // …第 2 至 39 层的 feed_forward.gate 均如此 }

完整量化记录（含转换工具、RTN 方法、硬件为 Apple M3 Ultra、严格重载校验等）见 conversion_info.json。

6️⃣ 其他字段

⚙️ generation_config.json 逐项说明：生成参数默认值

这个文件在推理时独立加载，决定"开箱即用"时的生成行为：

🎯参数调优建议：默认配置偏向"准确优先"。写创意内容时可适当调高temperature（如 0.7–0.9）；注意该模型会先输出推理过程再给出最终答案，因此max-tokens建议预留充足（如 1024 以上）。

📄 如何使用这份配置

本模型需在 MLX-VLM 的 LFM2.5 支持版本上运行（导出时实测 MLX 0.32.3、Transformers 5.17.0，见 conversion_info.json）：

pip install mlx-vlm python -m mlx_vlm generate \ --model LFM2.5-24B-A2B-Preview-mxfp4 \ --prompt "What is the capital of France? Answer briefly." \ --max-tokens 512 \ --temperature 0.1

建议直接使用仓库自带的 chat_template.jinja 组织对话（支持 system 提示词与工具调用），并配合 tokenizer.json 完成分词。

❓ 常见问题

问：12.74 GB 权重，显存/内存要留多少？答：权重约 12.74 GB，加上 KV 缓存、卷积缓存和临时分配，建议预留16–24 GB统一内存（如 M 系列芯片 16GB 起步、24GB 更从容），长上下文时缓存占用会明显增加。

问：为什么路由器权重要单独用 8-bit？答：MoE 路由器决定"每个 token 交给哪些专家"，是模型能力的调度中枢。4-bit 精度下路由误差会被放大，因此第 2–39 层feed_forward.gate单独保留 8-bit，这是 mxfp4 版本在压缩率与路由稳定性之间的折中设计。

问：两个配置文件字段不一致怎么办？答：以generation_config.json为生成行为的独立默认值；config.json内嵌的generation_config块与之一致（_from_model_config标记同步来源），实际推理时命令行参数优先级最高。

✅ 小结

• config.json描述了40 层、64 专家 top-4 路由的 MoE 架构，混合卷积/注意力设计 + GQA 支撑 128K 长上下文
• mxfp4 量化主体 4-bit（group 32），路由器 8-bit 保护是精度关键
• generation_config.json默认temperature=0.1、top_k=50，稳定保守，按需可调
• 全部原始依据：config.json、generation_config.json、conversion_info.json、README.md