Lightning-SimulWhisper是一个在 Apple Silicon（M 系列芯片）上实现实时本地语音转写的开源引擎，它用MLX + CoreML混合架构把 Whisper 模型做到极致加速：编码快18x、解码快15x，功耗更低。本文把tiny / base / small / medium / large-v1 / large-v2 / large-v3 / large-v3-turbo逐一拉平，对比参数规模、精度、速度与适用场景，帮你在 30 秒内选出最合适的 Whisper 模型。

一、为什么模型选择比"哪个更快"更重要

很多新手一上来就追最大模型，结果在笔记本上卡成 PPT；也有人图省事用 tiny，转写错得离谱。

正确的思路只有一个：在你的设备上，"能稳定实时" 且 "精度够用" 的最大模型，就是最好的选择。

Lightning-SimulWhisper的官方实测表明：在 M2 MacBook Pro 上，medium甚至large-v3-turbo都能实时运行——这在过去（纯 PyTorch 方案）是无法想象的。所以选型的重点，是找到你设备能力的天花板。

💡 本文所有性能数据均来自项目内置基准测试，数据目录见 tests/timing_logs_coreml/、tests/timing_logs_mlx/、tests/timing_logs_pytorch/。

二、8 个 Whisper 模型规格速览表

这是全文最核心的清单。参数规模为 Whisper 各档位的标准规格，速度/精度为在 Apple Silicon 上的相对定位。

模型名可通过--model_name指定，全部支持档位见生成脚本 scripts/generate_coreml_encoder.sh。

三、精度怎么选？看这 3 条经验法则

• 规则 1：纯英文 + 清晰录音 →base起步。如果场景是 TTS 旁白、朗读稿，base往往就够用，还能省下大量算力。
• 规则 2：多语言 / 嘈杂环境 / 专业术语 → 至少medium。中文、混合语、带口音的口语，是精度分水岭，small之下容易漏字错字。
• 规则 3：追求"最接近旗舰"又不想牺牲实时性 →large-v3-turbo。它是这一代真正的"作弊级"选项（下文详述）。

四、性能与功耗：CoreML 加速下的实测

这是Lightning-SimulWhisper的核心卖点。官方对三种后端的平均耗时（同一模型、同一音频）统计如下：

不同模型的 CoreML 编码耗时（30 秒音频、1500 帧）大致为：

• base.en：~150 ms
• small：~200 ms
• medium：~271 ms
• large-v3：~400 ms

功耗差异更关键（M2 实测参考值）：

结论：模型越大，越吃编码器算力，也越能从 CoreML 加速中获益。开--use_coreml后，medium/large-v3-turbo才真正具备"实时 + 低功耗"双条件。详细原理见 docs/COREML_INTEGRATION.md。

五、按使用场景直接抄作业

六、为什么要单独提 large-v3-turbo？

large-v3-turbo是当前最值得优先尝试的档位：

• 精度接近large-v3：编码器保持 32 层 / 1280 维旗舰结构，只精简了解码器，输出质量几乎不掉档。
• 速度接近medium：因为解码器更轻，实时性远优于完整large-v3。
• CoreML 加速收益最大：大编码器 + 神经引擎，是"旗舰精度 + 低功耗"的最优解。

如果你的设备是 M 系列芯片且想"一步到位"，从large-v3-turbo开始测，跑不动再降级到medium，是最省事的路线。

七、3 步上手 + 实用小贴士

1. 安装

pip install -r requirements.txt pip install coremltools ane_transformers

2. 为模型生成 CoreML 编码器（一次即可）

./scripts/generate_coreml_encoder.sh medium

3. 启动实时转写

python simulstreaming_whisper.py jfk.wav \ --model_name medium \ --model_path mlx_medium \ --use_coreml \ --coreml_compute_units CPU_AND_NE \ --beams 3 \ --language en

小贴士：

• 端点检测（CIF）模型：项目自带base / small / medium / large-v2的端点检测权重，可加--cif_ckpt_path cif_model/medium.npz提升切句效果，权重目录见 cif_model/。
• 计算单元：追求续航用CPU_AND_NE；调试对比可临时用CPU_ONLY。
• 静音控制：加--vac启用 Silero VAD（依赖torchaudio，最小化安装可移除）。
• 首次运行较慢：CoreML 会为设备编译一次（约 2–3 秒），之后才快，属正常现象。

八、一句话总结

• 只想跑通：tiny/base
• 性价比甜点位：small/medium
• 要旗舰精度：large-v3
• 要"旗舰精度 + 实时低耗"：large-v3-turbo（M 系列首选）

选型的本质，就是让精度需求与设备实时上限相匹配。Lightning-SimulWhisper把这条平衡线推到了前所未有的高位——你现在可以大胆选更大的模型了。更多参数说明见 simul_whisper/config.py 与 README.md。