这项由北京大学、清华大学、上海交通大学及快手Kling团队等机构联合开展的研究于2026年7月30日以预印本形式发布论文编号为arXiv:2607.28022有兴趣深入了解的读者可通过该编号查询完整原文。你有没有想过教一个人学厨艺最难的部分不是教他怎么切菜、怎么控火而是告诉他这道菜应该是什么味道如果你教的是做红烧肉你可以让他尝一口成品说咸了或甜了——这很好判断。但如果你要教他做一道从未有人规定过标准的创意融合料理没有参考答案没有评分标准那该怎么办这个问题正是人工智能研究者们在大型语言模型训练中长期面对的核心难题。这篇论文提出的方法叫做Flux-OPD是一种让AI学生在没有标准答案的开放性领域中持续进步的训练范式。它的核心思想是让有经验的AI老师在教学过程中根据学生当前的真实状态动态调整自己的指导内容——就像一位优秀的厨艺导师不是照本宣科地背食谱而是看着学生今天做出来的菜随时调整今天该讲什么、该纠正什么。一、当AI遇到没有标准答案的世界要理解这项研究解决的问题先得了解一个背景现代AI大模型是怎么学习的。目前最强大的AI系统比如那些能回答复杂问题、能写代码、能做数学题的模型很多都是通过一种叫做带可验证奖励的强化学习的方式训练出来的。通俗说就是给AI出数学题如果答对了就给奖励答错了就惩罚——因为数学题有确定的对错这套方法效果非常好。然而现实世界中有大量任务根本没有明确的对错之分。医生给病人解释病情时应该用什么语气一段视频生成提示词怎么写才算好这类问题没有唯一正确答案也就无法简单地用答对给糖的方式来训练。研究者们曾尝试一种叫做评分准则作为奖励的方法就是先写好一套评分标准再让AI按标准来打分和训练。但问题是把复杂的人类偏好压缩成一套死板的评分准则往往会丢失很多微妙的信息就像把一位米其林大厨的全部烹饪哲学压缩成一张百字清单必然会有很多东西说不清楚。另一种更自然的方法是使用情境蒸馏——给AI老师一些背景信息比如过去的经验教训、典型案例让老师参考这些背景信息来指导学生。这种方式能传递更丰富的偏好信息但问题在于这些背景信息是在训练开始前就固定下来的随着学生越学越好那些最初准备的案例和经验很快就失去了价值学生已经超过了那个水平老师却还在讲最初那几个例子自然帮不上忙了。所以研究团队想到一个更聪明的方案让这些背景信息随着学生的成长而不断更新和进化。老师每隔一段时间就观察一下学生现在的真实水平从这些新的观察中总结出新的经验再用这些新鲜的经验来指导下一阶段的训练。二、直接让经验随时更新为什么会出问题这个想法听起来很美好但实际操作中藏着一个严重的麻烦。研究团队已经有了一个早期的版本叫做OEL在线经验学习。它的做法是先让学生跑一段时间收集学生的各种回答让老师从中总结新经验更新背景信息然后再继续训练。但这套方法是跑一段、停下来、更新、再跑这样分阶段交替进行的不够及时而且每次更新经验的时候学生的学习目标就会突然发生剧变。更麻烦的是研究团队进一步尝试把这个过程变成实时的——每隔很小的步骤就更新一次背景信息——结果发现训练过程变得极不稳定。论文中有一张图清晰地展示了这个现象训练损失可以理解为学生当前的错误程度本来应该平稳下降却一次次地突然剧烈飙升就像一个学生刚刚适应了新老师的风格老师又突然换了一套完全不同的教学方式导致学生一次次被迫从头适应。除此之外还有一个更微妙的问题从不同的学生回答中总结出来的经验有时候是互相矛盾的。比如一组回答让老师总结出要尽量保持原意别画蛇添足另一组却总结出要加入更多细节和深度。这两条经验放在一起老师给学生的指导就变成了互相打架的信号学生不知道该听哪个。这两个问题——训练目标不稳定和指导信号互相冲突——正是这篇论文要解决的核心挑战。三、用数学拆解老师的指导到底在做什么为了找到解决方案研究团队没有靠直觉猜测而是从数学层面严格分析了情境蒸馏这件事到底在做什么。在AI训练中有一种叫做反向KL散度的数学工具可以理解为衡量学生的回答风格与老师的回答风格相差多远的一把尺子。传统的训练方式就是最小化这个差距——让学生越来越像老师。研究团队对这个数学量进行了一次关键的分解得到了一个很有启发性的结果当老师参考多个不同的背景情境来给学生指导时这个学生与老师的距离其实可以拆成两部分。第一部分叫蒸馏项它衡量的是学生与多位情境老师的几何平均之间的距离。什么是几何平均简单说就是在所有老师都高概率选择某个词的时候这个平均值才会高只要有一位老师觉得某个词不合适整体平均值就会被拉低。这和算术平均不同——算术平均是把所有意见加总求平均几何平均则更保守只在大家一致认可的地方才表现出强烈倾向。这意味着学生被引导去学习那些所有老师都认同的做法而不是某一位老师的个人偏好。第二部分叫冲突项它衡量的是不同情境老师之间意见的分歧程度。当各位老师的意见高度一致时这个冲突项接近零当各位老师的意见差异很大、互相矛盾时这个冲突项就会变大。更重要的是研究团队证明了这个冲突项对训练过程没有直接的梯度贡献——也就是说当背景信息固定下来之后这个冲突不会直接影响学生的参数更新真正在起作用的只有第一部分的蒸馏项。这个数学发现提供了两个非常实用的洞见一是可以用这个冲突项来判断当前情境下老师们的意见是否一致作为一个信号指标二是情境老师在指导时本质上是把所有情境老师的几何平均作为学习目标这个目标比直接跟随任何单一情境老师要更稳健。四、Flux-OPD给学习过程安装减震器和方向盘基于上述分析研究团队设计了Flux-OPD方法。整体框架是一个迭代训练过程把整个训练拆分成若干轮每一轮包含两个阶段——提取经验和经验蒸馏。在提取经验阶段老师观察当前版本的学生收集学生在各种题目上的真实表现再从这些表现中提取新的经验教训。为了让提取出来的经验更多元研究团队用了多个不同的随机种子让同样的学生表现被不同视角的老师分别总结形成一个包含多条经验的经验池。每条经验都是简洁的高层次原则比如保留核心意图避免引入不必要的元素而不是针对具体某道题的答案。在经验蒸馏阶段老师会参考这个经验池来指导学生——但这里就是Flux-OPD最核心的创新所在了。研究团队设计了两个精妙的策略来解决前面提到的两个问题。第一个策略叫情境校正专门用来解决训练目标不稳定的问题。它的思路是不要直接让学生去模仿参考了经验的老师而是把参考了经验的老师和没有参考经验的原始老师做一个对比提取出两者的差异——这个差异就是情境差异信号代表了经验给老师带来的偏好变化。然后训练目标被设置为原始老师的基础上加入一定程度的情境差异信号校正。原始老师没有参考经验的那个是一个稳定的锚点不会随着经验的更新而剧烈变化而情境差异信号则捕捉了任务特定的偏好信息。通过一个可调节的系数λlambda可以控制这个校正的强度当λ0时目标完全等同于原始老师非常稳定当λ1时目标等同于参考了经验的老师充分利用情境信息介于0和1之间时则是两者的平滑融合。第二个策略叫情境加权专门用来解决指导信号互相冲突的问题。它利用前面数学分解中发现的冲突项作为信号当从经验池中采样的多位情境老师意见高度一致冲突项接近0时说明这批经验质量较高、方向明确此时应该加大校正强度让情境信息充分发挥作用当各位情境老师意见分歧较大冲突项较大时说明这批经验可能存在矛盾此时应该降低校正强度更多依赖稳定的原始老师。这个权重计算还有进一步的精细化设计通过一个冲突阈值τ来定义什么程度的冲突算多、什么程度算少通过一个缩放系数α来整体控制校正强度的上下限通过一对裁剪边界λ_min和λ_max来确保校正强度不会降到过低或升到过高。这些参数可以根据具体任务的特点来调节。把这两个策略结合起来Flux-OPD既保证了训练目标的稳定性靠情境校正中的锚点机制又能够智能地根据经验质量调整学习力度靠情境加权中的冲突信号同时还能随着学生成长不断更新经验内容靠迭代提取机制。五、实验在两个真实世界的困难任务上测试研究团队选择了两个具有真实应用价值的开放性任务来验证这套方法。第一个任务是视频生成的提示词优化。这个任务的背景是现在的AI视频生成系统比如用文字描述一个场景系统自动生成对应视频对输入的提示词非常敏感。一般用户写的提示词往往不够清晰或不符合视频模型的偏好需要经过优化才能生成高质量的视频。这个任务要求AI学生把用户的原始提示词改写成更适合特定视频生成器的形式。难点在于好的提示词要满足哪些条件不同的视频生成器有不同的偏好而且只有看到实际生成的视频才能判断好坏——这是纯粹的文字理解能力无法覆盖的。研究团队使用了两个不同的视频生成器Wan2.1-VACE-1.3B和CogVideoX-2B以及两个视频质量评估基准VBench和Video-Bench来进行评测数据集包含10K条提示词。第二个任务是医疗问答。这个任务要求AI回答各种临床医学问题评估标准涵盖回答的完整性、情境感知能力、准确性、沟通质量和指令遵循能力使用的是包含约18K道题的RaR-Medicine数据集在HealthBench基准上进行评测该基准包含5000个临床对话场景。在对比实验中研究团队设置了多种基准方法普通的在线策略蒸馏OPD只有老师监督没有情境信息、固定情境的在线情境蒸馏OPCD有情境但不会更新、以及OEL情境会更新但采用交替分阶段的方式且直接用情境老师作为学习目标。所有方法都在同一个学生-老师组合下进行单次训练运行比较。实验中使用了三种不同的学生-老师规模搭配Qwen3-VL-Instruct系列的4B学生配8B老师、Qwen2.5-VL-Instruct系列的7B学生配32B老师、以及Qwen3系列的1.7B学生配8B老师。在视频提示词优化任务上Flux-OPD在几乎所有评测维度上都取得了最高分。以8B老师配4B学生的设置为例在VBench上Flux-OPD达到了80.18的平均分明显高于OPD的79.28、OPCD的79.02以及OEL的76.86——OEL不仅没有超过OPD甚至还不如原始未经训练的学生模型。在Video-Bench上Flux-OPD同样取得了3.61的最高分。在更强大的32B老师配7B学生设置下Flux-OPD也以80.24的平均分领先接近80.29的老师水平。在医疗问答任务上Flux-OPD同样表现最佳在HealthBench上达到20.61的总分超过OPD的19.63和OEL的19.66在准确性、情境感知等多个维度上均有明显提升。为了确认结果的可靠性研究团队还对OPD和Flux-OPD各独立运行了三次统计了均值和标准差。结果显示Flux-OPD在三次运行中始终优于OPD且波动范围相近说明这个优势是稳定可复现的而非偶然。六、深入验证每个设计选择都不是多余的研究团队还进行了细致的消融实验逐一验证方法中每个设计选择的贡献。当去掉动态更新经验这个功能改用固定不变的初始经验来运行整个情境校正和加权流程时性能会有所下降说明经验随学生成长而演化确实是有价值的不只是装饰。当保留动态经验更新但去掉情境校正策略直接用情境老师作为学习目标也就是退化成OEL的方式时性能也会下降而且在不同固定校正强度0.9、0.7、0.5下带情境校正的版本始终优于OEL。这证明把情境老师的差异信号注入到原始老师锚点中这个思路比直接模仿情境老师更有效。当保留动态经验更新和情境校正但把情境加权策略替换为几种固定强度时性能也不如自适应加权的完整版本。这说明冲突信号确实能指导学习过程选择更合适的校正强度而不是靠人工固定一个强度就能达到最优。在参数选择上冲突阈值τ的设置有一个有趣的规律当初始学生的表现已经超过老师水平时比如在CogVideoX-2B上适当提高τ值能带来更好的结果原因是此时情境信息能提供超越原始老师的额外指导应该让情境发挥更大的作用。而当学生表现不如老师时使用较小的τ即可。关于强度校准策略研究团队发现对于情境一致性较低冲突较高的8B老师设置使用缩放方式整体乘以0.9来降低情境影响效果最好而对于情境一致性较高冲突较低的32B老师设置使用裁剪方式把校正强度限制在一个范围内效果更好。这背后的逻辑是更强大的老师产生的情境经验更稳定可靠可以让学生更充分地吸收而较弱的老师产生的经验质量参差不齐需要整体压低其影响力。七、稳定性与泛化意外的收获除了主要任务上的性能提升研究团队还观察到了两个令人关注的额外发现。关于训练稳定性通过对比训练损失曲线可以清楚地看到OPD和Flux-OPD的损失都平稳地持续下降而OEL则在每次更新经验的节点附近出现明显的损失突增——就像道路上反复出现的减速带严重干扰了学习过程。Flux-OPD的梯度范数可以理解为每一步学习的冲劲大小也保持相当平稳说明这套方法从根本上解决了训练不稳定的问题而不仅仅是掩盖了症状。关于跨领域泛化研究团队在用医疗问答数据训练完模型之后还专门测试了模型在一个完全不同的任务——指令遵循IF-Eval上的表现。这个任务没有出现在训练数据中相当于考察模型学到的能力是否有更广泛的迁移价值。结果显示Flux-OPD训练出的学生在IF-Eval上的得分34.38明显高于OPD32.90也高于OEL34.20——尤其是OPD的得分甚至低于未经任何在线训练的初始学生34.20。这意味着Flux-OPD不仅在训练任务上表现更好还帮助模型形成了更具迁移价值的通用能力。说到底这项研究做了一件很有价值的事情它把如何让AI在没有标准答案的领域持续进步这个问题从模糊的直觉层面变成了有严格数学支撑的工程方案。通过把动态更新的情境经验、稳定的原始老师锚点和基于冲突信号的自适应加权这三个要素有机地整合在一起Flux-OPD在提示词优化和医疗问答这两个截然不同的真实任务上都展现出了超越已有方法的效果。对于普通用户而言这项研究的意义在于未来的AI助手在应对那些没有固定答案的复杂问题时有可能变得更聪明——不是因为它死记硬背了更多知识而是因为它学会了从自己过去的经历中提炼出真正有用的原则并在老师的引导下不断修正自己的判断方式。当然目前这套方法还需要在更多类型的任务和更大规模的模型上进行验证且不同任务可能需要不同的参数调节这些都是后续研究需要探索的方向。如果你对这套方法的数学细节、实验设置或具体实现感兴趣可以通过arXiv:2607.28022查阅完整的原始论文。QAQ1Flux-OPD和普通的AI知识蒸馏有什么区别A普通知识蒸馏是让小模型学生直接模仿大模型老师的输出整个过程中老师是固定不变的。Flux-OPD的不同在于老师会参考从学生实际表现中提取的动态经验来调整指导方向而且不是让学生直接模仿参考了经验的老师而是提取有经验的老师和没有经验的老师之间的差异将这个差异注入稳定的基础老师中作为学习目标同时还会根据不同经验之间的矛盾程度来自动调节这个差异的影响力度。Q2情境冲突项是怎么判断老师意见是否矛盾的A在Flux-OPD中老师会参考多条不同的经验来自同一批学生表现但用不同的随机种子提取对同一个位置的词汇分别给出概率分布。冲突项用数学符号表示为负对数Z衡量的是这些分布之间的重叠程度如果各条经验下老师都倾向于同一个词Z值接近1冲突项接近0如果不同经验下老师各有偏好、分歧大Z值远小于1冲突项就会变大。冲突项越大说明这批经验越不一致系统就会相应降低情境信息的修正力度。Q3为什么视频提示词优化任务比医疗问答任务更能体现Flux-OPD的优势A视频提示词优化任务的特殊之处在于判断一条提示词是否优秀需要实际生成视频后才能看出来这是纯文字层面的老师无法直接感知的信息。Flux-OPD通过让老师观察学生生成的提示词所对应的实际视频结果从中提炼出哪类改写方式更能产生好视频的经验这种视频层面的偏好信息是固定情境方法无法捕捉的。而医疗问答的偏好主要是文字层面的准确性、表达方式等没有参考外部多模态反馈因此基础的OPD方法也能发挥相当作用Flux-OPD的额外优势相对较小但依然存在。