LongCat-Flash-Lite-Sparse-4bit是美团 LongCat-Flash-Lite-Sparse（69B-A3B 稀疏 MoE 大模型）的 MLX 4-bit 量化版本，专为 Apple Silicon Mac 打造。它只用约 36 GB 权重就能在 64 GB 的 Mac 上跑出 100+ tok/s 的解码速度。本文对比 4-bit / 6-bit / 8-bit 三种量化档位的内存占用与推理速度，帮你一次选对 Mac 内存。

先看懂模型：为什么它"大而不慢"

这个模型总参数约 69B，但每个 token 只激活约 3B 参数，属于典型的稀疏 MoE 架构。它比普通 LongCat-Flash 多了三项关键设计（详见 README.md）：

• LSA 稀疏注意力：DeepSeek 风格的"闪电索引器 + MLA"组合，KV 长度超过 2048 后自动做稀疏选择，原生支持超长上下文（配置中max_position_embeddings高达 983040，见 config.json）
• 零计算（identity）专家：256 个路由专家 + 128 个直通专家，top-12 选择，进一步降低实际计算量
• N-gram（"oe"）输入嵌入：约占总参数 46%，已融合进 token 嵌入层

简单理解：MoE + 稀疏注意力 =只有少量参数在工作，所以内存带宽和内存容量就是速度的决定性因素——这正是选 Mac 的核心依据。

三档量化内存需求：一张表看懂

💡 峰值内存随上下文变长而增长（KV cache 与索引缓存会额外占内存）。上表数据来自 README 实测，上下文越长，预留余量越要充足。

本仓库为 4-bit 档，权重按 group_size=64 的 affine 量化，仅 14 层路由分类器（router.classifier）保留 8-bit 以保证专家选择精度——这一细节可在 config.json 的quantization字段中验证。权重文件共 8 个分片（如 model-00001-of-00008.safetensors），完整映射关系见 model.safetensors.index.json。

速度实测：4-bit 比 8-bit 快多少？

以下数据来自 M5 Max（128 GB）、batch 1、贪心解码的官方基准（chunk-512 prefill、内核已预热）：

解码速度（tok/s，越高越快）

预填充速度（tok/s，影响"首字时间"）

关键结论：

• 单 token 解码部分受内存带宽限制，位数越低、搬运的权重越少、速度越快：4-bit 短上下文比 8-bit 快约40%
• 长上下文下速度衰减非常平缓——LSA 稀疏选择让 4-bit 从 112 只降到 73 tok/s（32k），几乎"平着跑"
• 8-bit 以速度为代价换取近无损的生成质量，追求质量上限时再考虑

怎么选 Mac：64 / 96 / 128 GB 对号入座

三点选购建议：

1. 内存容量优先看档位：4-bit 峰值约 45 GB，64 GB 机器刚好够用且有余量；如果计划直接上 8-bit，请务必 128 GB
2. 带宽决定上限：同为 128 GB，M4 Max / M5 Max 这类高带宽芯片的解码速度显著高于基础款，跑 69B MoE 建议直接选 Max 系列
3. 先买 64 GB 再升级也是可行路径：先用 4-bit 上手体验，确认工作流后升级内存换 6-bit / 8-bit

快速上手：三步跑起来

需要支持longcat_flash_sparse的 mlx-vlm 版本：

pip install git+https://github.com/Lazarus-931/mlx-vlm@add-longcat-flash

from mlx_vlm import load, generate model, processor = load("AlazarM/LongCat-Flash-Lite-Sparse-4bit", trust_remote_code=True)

加载后套用对话模板即可生成，模板文件为仓库内的 chat_template.jinja，分词器配置见 tokenizer.json 与 tokenizer_config.json。

生成参数：照抄官方推荐即可

本仓库在 generation_config.json 中给出了官方推荐参数，开箱即用：

• temperature: 0.7
• top_k: 4+top_p: 0.95（双约束，输出更聚焦）
• repetition_penalty: 1.06（轻微抑制重复）

注意：top_k 只有 4是该模型的官方设定，不要随意调大，否则生成质量会明显下降。

常见问题 FAQ

Q：64 GB 的 Mac 能跑 6-bit 吗？不建议。6-bit 峰值约 56–63 GB，几乎没有系统余量，容易触发内存交换导致卡顿。

Q：4-bit 和 8-bit 质量差距大吗？8-bit 为近无损版本。由于该模型每 token 只激活约 3B 参数，量化误差"没有藏身之处"，对质量敏感的场景（如复杂推理、写作）建议 8-bit。

Q：能跑多长的上下文？理论上限约 96 万 token（YARN 外推），实测基准覆盖到 32k。实际可用长度取决于剩余内存——上下文越长，KV 缓存占用越多。

总结

• 64 GB Mac→ 4-bit（本仓库）：最小组合，112 tok/s 起步
• 96 GB Mac→ 6-bit：质量速度均衡
• 128 GB Mac→ 8-bit：近无损，适合追求质量上限

选 Mac 记住一个原则：内存容量决定你能跑哪档量化，内存带宽决定你跑多快。模型文件结构与配置均可在仓库内直接查阅，从 README.md 开始就是最完整的使用文档。