今天正式发布 MiniMax H3。这是一款通用的全模态生成模型支持对文本、图像、视频、声音组成的多模态上下文的统一理解能力、能够输出具备原生双声道的音视频最高可支持 15s 2K 分辨率。MiniMax H3 具备商用级的多场景内容生成能力在指令遵循、文字与品牌信息呈现、V2V Motion Transfer视频到视频动作迁移等方面表现出色可实现精准、可控的多模态内容编辑与生成广泛适用于广告、品牌、电商、产品设计、UI/UX、游戏等商业场景。同时得益于 Contextual Omni Representation、H3-VAE、H3-Omni Transformer、In-context Regeneration 等多项技术我们有能力提供行业内最优的性价比。我们默认提供 2K 的分辨率模型在 2K 分辨率下每秒价格不到主流模型的 1/3 768P 分辨率下不到 1/2。长期以来闭源模型一直占据视频生成领域的主导地位迭代速度和生态开放性落后于大语言模型等领域。为了推动开源社区的发展、加速国产芯片适配H3 设计初期就考虑了多款现有国产芯片的兼容性)以及方便有需要的用户定制自己的版本。我们计划在未来几天内在符合相关法律法规的前提下开放模型权重。H3 的模型特色多模态上下文理解真实创作需要融合不同模态的复杂信息同时引入图片、声音、视频等多模态信息源。如下面这个镜头 Prompt 为“参考视频1的希区柯克镜头运动让图2中的人物唱歌歌声参考音频3”。通过语言描述清楚上下文和目标视频的关系复杂的全模态理解工作 H3 会自己完成。输入参考视频、图片和音频就能生成想要的视频H3 的设计理念打破任务的边界从专用迈向通用我们之前研发过两代模型Hailuo 01 从 0 到 1 构建系统、Hailuo 02 专注于架构效率、数据质量和规模等核心组件的提升。在 H3 的设计过程中我们意识到过往生成模型在任务上的局限性图片生成往往分为独立的 T2I、Editing、主体参考、动作参考、风格参考等为独立的专家模型声音生成中的人声、音效、音乐也多作为独立的领域被研究视频生成更是分为文生视频、图生视频、首尾帧、主体参考、动作参考、音色参考、视频编辑等细分功能图像、视频、音频之间也有着清晰的边界。这些任务、能力、模态的隔离限制了使用上的自由度也从训练范式上限定了模型的泛化能力。这两点对应着应用范式和训练范式的巨大变革空间。因此H3 构建过程的第一纲领即是任务的统一和泛化。基于此简要概括一下 H3 的预训练范式 ——数据和任务• 文生图• 文生视频· 带有联合的音频生成所有的音频输出都是原生的双声道模式· 原生的多镜头建模• 文生音频· 不区分人声、音效、音乐统一联合建模• 广义的参考和编辑· 图片到图片的参考和编辑· 图片到视频的参考和编辑· 音频到音频的参考和编辑· 音视频到音视频的参考和编辑· 广义的参考和编辑在我们的设计中是指a.完全由真实自然数据构成从而具备较好的数据扩展性;b.由自然语言表述参考和编辑关系不局限于有限任务语言或者说广义的智力结构是泛化的桥梁H3 的技术选择MiniMax H3 依托三大核心技术实现跨模态、跨任务通用能力Contextual Omni Representation上下文全模态表征重构传统 Caption 机制不止描述单独音视频画面还能理解素材之间、上下文与目标素材、音视频联动的复杂关联语言作为通用桥梁统一各类任务表达造就强大的指令理解能力。配套专属全模态理解管线原始素材约 100K Token 推理最终压缩至 4K Token。H3-VAE全面升级 Tokenizer图像重建效果、学习效率大幅提升超高压缩率实现4 倍有效序列长度降低训练与推理成本也是模型原生支持 2K 分辨率的关键底座。H3-Omni Transformer以「任务泛化」为核心设计思路舍弃旧版 Hailuo-02 架构规避冗余复杂度。针对多模态上下文带来的序列长度波动、计算负载差异化问题采用理解 / 生成异构训练架构结合负载均衡优化端到端训练吞吐提升近 30%。想体验可以关注一下免费试用 MiniMax H3 深度解析：打破模态界限，全能多模态模型优势在哪
今天正式发布 MiniMax H3。这是一款通用的全模态生成模型支持对文本、图像、视频、声音组成的多模态上下文的统一理解能力、能够输出具备原生双声道的音视频最高可支持 15s 2K 分辨率。MiniMax H3 具备商用级的多场景内容生成能力在指令遵循、文字与品牌信息呈现、V2V Motion Transfer视频到视频动作迁移等方面表现出色可实现精准、可控的多模态内容编辑与生成广泛适用于广告、品牌、电商、产品设计、UI/UX、游戏等商业场景。同时得益于 Contextual Omni Representation、H3-VAE、H3-Omni Transformer、In-context Regeneration 等多项技术我们有能力提供行业内最优的性价比。我们默认提供 2K 的分辨率模型在 2K 分辨率下每秒价格不到主流模型的 1/3 768P 分辨率下不到 1/2。长期以来闭源模型一直占据视频生成领域的主导地位迭代速度和生态开放性落后于大语言模型等领域。为了推动开源社区的发展、加速国产芯片适配H3 设计初期就考虑了多款现有国产芯片的兼容性)以及方便有需要的用户定制自己的版本。我们计划在未来几天内在符合相关法律法规的前提下开放模型权重。H3 的模型特色多模态上下文理解真实创作需要融合不同模态的复杂信息同时引入图片、声音、视频等多模态信息源。如下面这个镜头 Prompt 为“参考视频1的希区柯克镜头运动让图2中的人物唱歌歌声参考音频3”。通过语言描述清楚上下文和目标视频的关系复杂的全模态理解工作 H3 会自己完成。输入参考视频、图片和音频就能生成想要的视频H3 的设计理念打破任务的边界从专用迈向通用我们之前研发过两代模型Hailuo 01 从 0 到 1 构建系统、Hailuo 02 专注于架构效率、数据质量和规模等核心组件的提升。在 H3 的设计过程中我们意识到过往生成模型在任务上的局限性图片生成往往分为独立的 T2I、Editing、主体参考、动作参考、风格参考等为独立的专家模型声音生成中的人声、音效、音乐也多作为独立的领域被研究视频生成更是分为文生视频、图生视频、首尾帧、主体参考、动作参考、音色参考、视频编辑等细分功能图像、视频、音频之间也有着清晰的边界。这些任务、能力、模态的隔离限制了使用上的自由度也从训练范式上限定了模型的泛化能力。这两点对应着应用范式和训练范式的巨大变革空间。因此H3 构建过程的第一纲领即是任务的统一和泛化。基于此简要概括一下 H3 的预训练范式 ——数据和任务• 文生图• 文生视频· 带有联合的音频生成所有的音频输出都是原生的双声道模式· 原生的多镜头建模• 文生音频· 不区分人声、音效、音乐统一联合建模• 广义的参考和编辑· 图片到图片的参考和编辑· 图片到视频的参考和编辑· 音频到音频的参考和编辑· 音视频到音视频的参考和编辑· 广义的参考和编辑在我们的设计中是指a.完全由真实自然数据构成从而具备较好的数据扩展性;b.由自然语言表述参考和编辑关系不局限于有限任务语言或者说广义的智力结构是泛化的桥梁H3 的技术选择MiniMax H3 依托三大核心技术实现跨模态、跨任务通用能力Contextual Omni Representation上下文全模态表征重构传统 Caption 机制不止描述单独音视频画面还能理解素材之间、上下文与目标素材、音视频联动的复杂关联语言作为通用桥梁统一各类任务表达造就强大的指令理解能力。配套专属全模态理解管线原始素材约 100K Token 推理最终压缩至 4K Token。H3-VAE全面升级 Tokenizer图像重建效果、学习效率大幅提升超高压缩率实现4 倍有效序列长度降低训练与推理成本也是模型原生支持 2K 分辨率的关键底座。H3-Omni Transformer以「任务泛化」为核心设计思路舍弃旧版 Hailuo-02 架构规避冗余复杂度。针对多模态上下文带来的序列长度波动、计算负载差异化问题采用理解 / 生成异构训练架构结合负载均衡优化端到端训练吞吐提升近 30%。想体验可以关注一下免费试用 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
