Nemotron-3-Diarization 离线与流式双模实测0.32 秒延迟到底牺牲了什么【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization2026 年 9 月NVIDIA 开放权重的说话人分离模型 Nemotron-3-Diarization 正式发布。与上一代diar_streaming_sortformer_4spk-v2.1相比它在保持约 100M 参数1.0×10⁸的前提下把最大说话人数量从 4 提升到 8并在 DIHARD III、CALLHOME、AliMeeting、AMI、NOTSOFAR1 等 8 大测试集上把 Diarization Error RateDER平均砍掉约四成多说话人场景降幅更是达到 70% 量级。真正让社区兴奋的是它一个权重、两套配置的双模设计既可以在 30.4 秒输入缓冲下做离线后处理也可以把输入缓冲压到 0.32 秒做流式推理——社区实测与模型卡数据都指向同一个结论0.32 秒档的 DER 相比离线档只微增约 1 个百分点。这微增到底是怎么换来的牺牲的精度在哪些场景会被放大本文结合仓库源码与性能表格把账算清楚。双模推理的架构差异同一套权重两种切法Nemotron-3-Diarization 不是流式模型 离线模型的双权重方案而是同一个 Transformer 编码器按不同 chunk 几何切片。据 README.md 的架构说明模型核心是一条 31 层、带 RoPE 旋转位置编码的 Transformer 编码器10 ms 的 Mel 频谱特征先做 8 倍特征堆叠得到 80 ms 的编码器帧率编码器输出再由 Conv1D 上采样回 10 ms 分辨率。输出是一个形状为[T, 8]的逐帧说话人活动概率张量8 个通道按说话人在音频中的首次出现顺序排列Sortformer 的 arrival-order 设计。流式推理的关键在于两个记忆机制均出自 Streaming Sortformer 论文Arrival-Order Speaker CacheAOSC保留早期 chunk 的说话人信息以维持身份连续性FIFO 队列为每个处理步提供最近的帧上下文。因此流式并不是重新训练一个小模型而是在同一个 checkpoint 上调整 5 个参数SPKCACHE_LEN、FIFO_LEN、CHUNK_LEN、RIGHT_CONTEXT、UPDATE_PERIOD全部以 80 ms 帧为单位。README 给出了四档推荐配置配置档输入缓冲延迟SPKCACHE_LENFIFO_LENCHUNK_LENRIGHT_CONTEXTUPDATE_PERIOD离线Very high latency30.4 s2644034040300低延迟1.04 s26426494222很低延迟0.64 s26426462222超低延迟0.32 s26426431222注意一个关键事实延迟指输入缓冲延迟等于CHUNK_LENRIGHT_CONTEXT× 80 ms不含计算耗时。0.32 s (3 1) × 80 ms意味着每次只等 240 ms 的音频主块加上 80 ms 的未来帧就开始推理而离线档要攒 27.2 s 主块 3.2 s 右上下文才启动。两种模式共享同一个 264 帧约 21.12 秒的说话人缓存差异全在 chunk 的大小与切法上。用代码设定流式档只需改几个属性并调用校验diar_model.sortformer_modules.chunk_len 3 diar_model.sortformer_modules.chunk_right_context 1 diar_model.sortformer_modules.fifo_len 264 diar_model.sortformer_modules.spkcache_update_period 222 diar_model._check_streaming_parameters()这里已经埋下了牺牲的伏笔离线档的FIFO_LEN403.2 s 历史上下文而 0.32 s 档的FIFO_LEN264——流式反而需要更长的历史上下文来补偿每步只能看到 240 ms 视野的先天不足。上下文不是没了而是从一次看全变成了靠缓存拼接。延迟换精度的实测数据复盘不止 1 个百分点的真相社区流传的0.32 秒延迟下 DER 仅微增 1 个百分点出自 README.md 的性能评估表。以 DIHARD III多语言 11 领域基准为例模型延迟DER1–4 人DER5–9 人DER全量SCAMAE4spk 基线 v2.130.4 s13.9840.2119.0975.290.51354spk 基线 v2.10.32 s14.3742.7119.8566.800.5869Nemotron-3-Diarization30.4 s9.1327.5812.7381.470.2664Nemotron-3-Diarization0.32 s9.6929.4913.5576.450.3282这句话只说对了一半。全量 DER 从 12.73 涨到 13.55绝对增幅 0.82 个百分点、相对增幅约 6.4%确实微增但把表格逐行摊开牺牲并不均匀说话人越多代价越大。DIHARD III 的 5–9 人子集 DER 从 27.58 涨到 29.491.91 pp是 1–4 人子集0.56 pp的三倍多NOTSOFAR1 SC远场单通道5–7 人子集从 13.21 涨到 17.614.40 pp。远场、强混响场景放大损失。NOTSOFAR1 SC 全量 DER 从 11.00 涨到 14.53增幅高达 32%是所有测试集中最惨的一档而近场耳机麦NOTSOFAR1 MHM只从 6.77 涨到 8.65。说话人分离的边界不确定性在流式短视野下被远场噪声进一步放大。人数计数精度先崩。比 DER 更敏感的是 Speaker Counting MAEDIHARD III 从 0.2664 涨到 0.3282NOTSOFAR1 MHM 更夸张从 0.0625 直接跳到 0.2687——流式模式下少数了一个人或多数了一个人的概率明显上升SCA计数完全正确率也从 93.75% 掉到 74.38%。电话/短对话场景反而稳。CALLHOME-Part2 全量 DER 仅从 9.10 涨到 11.32且 0.32 s 档的 DER 仍然压过 4spk 基线的离线档11.32 vs 10.32 是少数被反超的例外但差距仅 1 个点2 人子集更是只有 7.75。还有一个反直觉的真相藏在推理速度表里它才是 0.32 秒档真正的代价所在模型延迟RTFxbatch1eager/compiledRTFxbatch32eager/compiledNemotron-3-Diarization30.4 s1340 / 438512196 / 15113Nemotron-3-Diarization1.04 s38 / 164581 / 865Nemotron-3-Diarization0.32 s12.5 / 54199 / 292离线档的 RTFx实时倍率音频时长/处理时长高达 1340 甚至 batch32 编译后 15113因为 340 帧大 chunk 可以整段喂进 GPU、充分榨干并行度0.32 s 档每次只处理 4 帧、要反复读缓存、写缓存RTFx 掉到 12.5eagerbatch1。0.32 秒买到的是首段输出的端到端延迟牺牲的却是吞吐——对于录完一整场会再跑一遍的后处理管线流式档的算力效率只有离线档的百分之一量级。社区实测中推理速度提升 3.7~4.7 倍指的是 Nemotron 对比 4spk 基线在同档位下的相对提升不能误读成流式比离线快。按场景给结论会议转写该用哪一档权衡项已经很清晰决策规则可以收敛为三条1. 完整会议后处理无脑用 30.4 s 离线档。会议录音是一次性完整交付的音频不需要首段实时性。离线档在 DIHARD III 全量拿到 12.73 的最低 DER、SCA 81.47%、MAE 0.2664同时 RTFx 高达 1340batch1 eager一段 1 小时会议在 RTX PRO 5000 上几秒跑完。这个档位的FIFO_LEN40意味着模型把 3.2 s 历史与 27.2 s 主块一起看上下文最完整8 人场景的计数与身份保持也最稳。评估协议细节collar、是否含重叠、参考标签来源参照 diarization_evaluation.md 的 Reporting Convention 如实上报否则 DER 数字不具备可比性。2. 实时字幕/同传/客服实时质检用 0.32 s 档但必须预期人多的会段质量回落。0.32 s 档在全量 DER 上只比离线档多约 1 个百分点在近场、2–4 人场景AliMeeting Near 7.19、AMI MHM 10.05完全可用但当会议进入 5 人以上、远场收音或多人抢话时DER 和计数 MAE 的恶化会成倍放大。此时可以退一档到 1.04 sDIHARD III 全量 13.18、NOTSOFAR1 SC 12.77只多 0.72 秒延迟就能把远场多说话人场景的 DER 拉回近 2 个百分点是性价比最高的一档。3. 追求准实时的转写服务1.04 s 档是甜点。它只牺牲 DIHARD III 上 0.45 pp 的 DER13.18 vs 12.73RTFx 却比 0.32 s 档翻了三倍38 vs 12.5eager batch1说话人计数精度SCA 76.83%、MAE 0.3243也明显优于 0.32 s 档。对于会议结束后立刻出稿直播转写的准实时回灌这类场景1.04 s 的输入缓冲几乎无感精度与吞吐的平衡最好。最后必须强调一个容易被忽略的前提谁在何时说话只是上半场。要输出谁说了什么需要按 ASR_INTEGRATION_GUIDE.md 与多说话人流式 ASR如 Multitalker Parakeet 或 Nemotron 3.5 ASR组成耦合管线——diarization 出逐帧说话人活动ASR 为每个检测到的说话人维护独立转写流fifo_len264、spkcache_update_period222这些参数必须与 ASR 的 chunk 几何对齐校验不能各自单独调参。说话人标签是会话级的通用编号不是生物身份标识跨会话、断线重连后标签会变化落地时要在应用层做映射与合规设计。0.32 秒不是免费的午餐但它是目前账面上最划算的一份即使把延迟压到底Nemotron-3-Diarization 的 DER 依然大幅优于上一代 4spk 模型的离线档DIHARD III13.55 vs 19.098 人覆盖能力也实实在在。把离线档冲精度、1.04 s 档守平衡、0.32 s 档保实时当作一个模型的三档变速箱来用才是对这套双模设计最正确的打开方式。【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考