LIT：学习交互与导演——协同进化视频导演智能体
会议：ICLR 2027
arXiv编号：arXiv:2610.41865v1 [cs.AI]
摘要
视频导演智能体负责编排多阶段制作流程，实现用户的创意构想。现有自进化相关研究大多聚焦剧本规划，却忽略用户交互能力与视频导演能力之间的相互强化效应：更充分的交互可以厘清用户意图，反哺工作流迭代优化；而更可靠的视频制作执行，又会让人机协作重心从排错调试转向创意决策。
本文提出LIT（Learning to Interact and DirecT）自提升视频创作框架，系统由导演智能体、仿真用户、元工程师三部分组成。仿真用户向导演智能体下发创意任务，暴露导演在交互、制作流程上存在的缺陷；元工程师基于任务轨迹，同时修订导演的交互策略与视频制作策略。基础版本虽然可以修复已经暴露的问题，但元工程师依赖被动故障归因，难以适配更多样的用户交互模式与制作技术。为此本文为LIT引入协同进化范式：元工程师主动学习外部知识，提升问题发现与解决方案生成能力。元工程师、仿真用户、导演智能体三者共同形成进化闭环，协同提升视频导演能力与用户交互能力。
在测试集与分布外OOD测试集上，相比初始基线流水线，LIT的视频制作指标提升19.1%，交互指标提升32.0%。受控消融实验证实制作能力与交互能力存在互相增益关系，协同进化机制进一步鼓励导演技能与交互模式的探索。开展用户研究，51.7%的受试者分组评估中更偏好LIT的意图满足效果，优于ViMax、VideoWeaver基线。
关键词
视频生成智能体；视频导演智能体；人机交互；协同进化；多智能体；创意内容生成；自进化智能体
目录
- 引言
- 相关工作
- LIT方法框架](#3‑lit方法框架)
- 3.1 导演‑用户交互数据集
- 3.2 仿真环境下导演‑用户交互流程
- 3.3 元工程师驱动协同进化闭环
- 实验设置
- 实验结果与消融分析
- 讨论与局限性
- 结论
- 附录简要说明
1 引言
AI视频导演智能体降低影视叙事创作门槛，把用户的创意构想转化为剧本编写、镜头设计、视频生成、剪辑等一系列协同决策。现有自进化研究聚焦视频制作本身，从执行反馈中提炼可复用技能、工作流配置与生成策略，利用过往视频项目经验改进后续规划生成。
但用户才是定义视频创作成功与否的主体。用户初始请求往往无法覆盖全部创作细节，视频导演必须通过交互完成：厘清创意优先级、识别可以交由系统自主决策的部分、在草稿产出之后协商修订方案。用户引导式创作依靠对话反馈辅助制作，但大多只是将交互作为制作的输入条件，交互策略本身很少作为和制作流程并行进化的对象。
交互时机不当会导致已经完成的镜头素材需要大规模返工；制作流程不可靠，会让用户耗费大量精力排查故障，而非专注创意决策。
本文核心洞察：交互能力与视频制作能力是一对互相强化的进化目标。交互可以暴露仅靠执行反馈无法发现的意图缺陷与工作流短板；而稳定可靠的制作输出，又可以帮助用户输出更有参考价值的创意反馈。
示例：用户反馈角色面部前后形象不一致；该交互反馈促使导演智能体在生成视频之前先构建角色人设卡片，保障角色形象一致性。完成能力迭代后，导演会主动向用户确认场景偏好、请求草稿反馈，同时产出角色、场景一致性更高的视频。
基于上述洞察，本文提出LIT框架：
- 仿真用户根据用户人设下发创意任务，用来暴露导演智能体在交互、制作流程中的缺陷；
- 元工程师分析对话与制作轨迹，迭代导演的交互策略与导演工作流；修改会跨项目持久生效；
- 引入好奇心驱动协同进化范式，元工程师主动学习外部知识，提升故障定位、方案提出能力；导演、仿真用户、元工程师三者形成完整进化闭环，协同提升两大核心能力。
本文主要贡献
- 指出视频导演智能体进化过程中，交互能力与视频制作能力存在相互强化效应。
- 提出协同进化机制，元工程师主动学习外部知识，自身能力同步迭代，强化问题发现与方案生成；导演、仿真用户、元工程师形成进化闭环，同时优化视频制作与用户交互。
- 在标准测试集、OOD分布外测试集，相比初始流水线，制作得分提升19.1%，交互得分提升32.0%；用户研究中过半受试者更认可LIT的意图满足效果。
2 相关工作
2.1 AI视频导演与多阶段视频生成
多阶段视频生成智能体将用户创意拆解为剧本、分镜、素材生成、剪辑；依靠LLM完成高层规划，调用视频生成模型产出成片。一部分工作聚焦自进化：从项目执行轨迹迭代工作流、可复用技能。现有自进化大多只关注视频制作端，很少将用户交互策略纳入同步进化对象。
2.2 创意人机交互与仿真用户
仿真用户常用于评测对话、创作类智能体；通过人设定义用户的知识背景、沟通风格。创意创作场景，用户反馈、修订意见是重要信号。现有研究大多利用交互反馈去改进生成内容，交互提问策略本身不参与迭代进化。
2.3 多智能体协同进化
协同进化指系统内部多个组件互相驱动迭代；在游戏、机器人领域已有应用。LIT将协同进化引入视频导演创作场景，让导演智能体、仿真用户、元工程师三者共同迭代，同时优化内容制作与人机交互。
3 LIT方法框架
LIT是一套支持跨视频项目协同进化的编排框架，三大核心组件：视频导演智能体、仿真用户、元工程师。
每一轮进化周期内：导演与仿真用户协作完成整套视频创作流水线；元工程师分析对话、执行轨迹、产出素材，优化导演的制作工作流与交互策略；元工程师也会基于成功、失败的修订案例更新自身任务选择与修订策略。
3.1 导演‑用户交互数据集
构建「视频导演任务‑用户人设」配对数据集。
- 从视频、剧本公开数据集中提取导演任务；利用大模型合成多样化用户人设；
- 每一条人设定义用户的影视制作知识水平、沟通风格、信息披露习惯，约束初始请求以及后续全部回复；
- 人设一致性校验闭环：挑战者智能体生成探测提问，仿真用户给出回复；审阅智能体核查回复是否符合人设，不符合则迭代修订人设配置。
数据集统计：240条任务、284份参考素材、892个规划镜头。
不同人设示例（室内场景灯光提问）
- 专业用户：“使用低调布光，柔和侧主光，微弱冷色轮廓光。”
- 非专业用户：“我不太懂灯光，能否给我看几个样例，我从中挑选。”
数据集完整统计、人设配置详见附录D。
3.2 仿真环境下导演‑用户交互流程
LIT采用技能驱动编排框架；进化迭代过程中，技能、控制流、智能体协同逻辑均可被修订。
进化轮次k kk，导演、仿真用户、元工程师的可编辑资源包分别记作D k 、 U k 、 M k D_k、U_k、M_kDk、Uk、Mk；资源包包含控制技能、配套工具、素材资产。运行时环境KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal{\̲(̲\mathcal{F}\)}实例化各个智能体：
KaTeX parse error: Can't use function '\(' in math mode at position 17: …m_{k}=\mathcal{\̲(̲\mathcal{F}\)}\…
- m k m_kmk
