ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Open Generative AI 上手指南:600+ 模型自托管,生成 10 秒 AI 视频宣传片

Open Generative AI 上手指南:600+ 模型自托管,生成 10 秒 AI 视频宣传片

Open Generative AI 上手指南:600+ 模型自托管,生成 10 秒 AI 视频宣传片

【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image & video generation studio with 600+ models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI

把一张产品图变成 10 秒的带货宣传片,是本文要完成的任务。Open Generative AI 是开源的 AI 图像与视频生成工作室:一个界面接进 600+ 模型(Flux、Midjourney、Kling、Sora、Veo),无内容过滤、可自托管。下面带你把应用跑起来,完成图生视频,再把成片调稳。

一句话定位与三组硬指标

600+ 模型:packages/studio/src/models.js 单文件定义 584 个模型条目,目录覆盖 85+ 文生视频、120+ 图生视频、70+ 文生图;14 个工作室:图生视频、唇形同步、音频、剪辑、营销素材、可视化工作流全在一个应用里;MIT 协议:免费自托管,无内容过滤,云端与本地两套推理引擎可选。

第一次启动:把应用跑起来的两种方式

最快路径是桌面端:2.0.0 预构建包,macOS 提供 DMG(Apple Silicon 与 Intel 各一份),Windows 是 NSIS 安装包,Linux 有 AppImage 和 .deb,不需要 Node.js。

从源码自托管(需要 Node.js 18+):

git clone --recurse-submodules https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI cd Open-Generative-AI npm run setup # 装依赖并构建工作区包(studio、workflow、agents) npm run dev # 网页版跑在 localhost:3000;桌面端改用 npm run electron:dev

两个容易碰上的小问题:

  • macOS 首次打开被 Gatekeeper 拦截(应用未做 Apple 公证):终端执行xattr -cr "/Applications/Open Generative AI.app",再右键应用选「打开」确认一次即可,之后正常启动。
  • 源码跑npm run dev报Couldn't find a 'pages' directory:说明工作区包没构建或不在仓库根目录(含app/与next.config.mjs的那层)。重新执行一次npm run setup就能解决。

最小闭环:拿到第一个图生视频成品

  1. 首次使用按提示填入 MuAPI 的 Access Key(只打算用本地模型可以直接跳过)。
  2. 进入Video Studio,上传你的产品图。上传的瞬间,模型列表会自动从 40+ 个文生视频模型切成 60+ 个图生视频模型(Kling I2V、Veo3 I2V、Runway I2V、Midjourney I2V 等)。
  3. 写一句提示词,选模型、选分辨率,点生成。云端走「提交任务 → 轮询结果」的两步模式,核心实现在 src/lib/muapi.js。
  4. 轮询到 completed,成片在界面内直接播放。

看到什么算成功:视频能播放、一键下载原片,任务保留在生成历史里;上传过的产品图自动进本地历史库,之后跨会话直接复用,不用重复上传。

把成片做稳:时长、分辨率与提示词三层经验

  • 时长与质量档位:Seedance 2.0 支持 5/10/15 秒、16:9 / 9:16 / 4:3 / 3:4,质量分 basic 与 high 两档;Grok Imagine 提供 6/10/15 秒。10 秒宣传片就选 10 秒档、high 质量。
  • 分辨率策略:先用 480p/720p 验证构图,满意后再上 1080p;分辨率与质量控件只在该模型支持时出现,照着控件选项走就不会踩无效参数。
  • 提示词写镜头语言:机位、运动、光线方向、镜头材质各写一句,越接近分镜脚本,出片方向越稳。

围绕这条宣传片:需求与入口对照

什么时候需要去哪能做什么
静图要动起来Video Studio120+ 图生视频模型,支持 5/10/15 秒档位
要加口播配音Lip Sync Studio9 个模型两种模式:肖像图+音频→说话视频,或已有视频+音频→重新对口型
要电影质感Cinema Studio6 种机身、11 种镜头、6 档焦距(8~85mm)、3 档光圈(f/1.4~f/11),自动翻译成提示词修饰符
要批量固定动作Workflow Studio拖拽节点把模型连成流水线,直接套用社区模板
要按多张参考图改图Image Studio兼容模型一次最多接收 14 张参考图,多选面板带排序
要配套音频与素材Audio / Marketing Studio文生音频、从单一输入出广告素材变体

什么情况下才需要本地推理:两套引擎的选型与硬件门槛

只有两种情况值得开:要求零 API Key、数据不出机器,或者你手头有 GPU 想自己控制成本。两套引擎互相独立,都在桌面端「设置 → 本地模型」配置,实现代码在 electron/lib/。

sd.cpp(捆绑式,新手先选它)。一键下载安装、跑在本机:Apple Silicon 走 Metal GPU 加速,Windows/Linux 走 CUDA、Vulkan 或 ROCm。内置 6 个图像模型:SD 1.5 三件套(Dreamshaper 8 / Realistic Vision v5.1 / Anything v5,各约 2.1GB)、SDXL 6.9GB、Z-Image Turbo 2.5GB 与 Z-Image Base 3.5GB。配好模型后在 Image Studio 点亮「Local」开关即可生成,全程不用 API Key。硬件门槛:Z-Image 建议至少 16GB 内存(7.4GB 权重 + 2.4GB 计算缓冲),8GB 的 M 系列 Mac 上 Z-Image 官方已知会卡死系统,先用 2.1GB 的 SD 1.5;几 GB 的模型文件可用环境变量OPEN_GENERATIVE_AI_LOCAL_AI_DIR挪到别的盘。

Wan2GP(自带安装,跑视频用)。在一台 CUDA/ROCm GPU 机器上装 Wan2GP,桌面端只当客户端:填本地文件夹路径,或填远程 MCP 服务器 URL(默认端口 7866)。之后 Video Studio 切到「Local」就能跑 Wan 2.1 1.3B(480p,约 8GB 显存)、Wan 2.2 14B T2V/I2V、Hunyuan Video 1.5、LTX-2 Distilled(8 步、720p)以及 Flux.1 Dev、Qwen Image。Mac 用户可以借此用局域网的游戏机或租来的 GPU 机器生成视频。

跑通之后记四件事

  1. 先传参考图,再选模型。列表按是否上传图片切换模型集合,顺序反了会选中文生视频集合。收益:一次选对模型集合。
  2. 低清试稿、高清定稿。480p 验证构图,通过后再上 1080p。收益:省算力、省等待。
  3. 提示词按分镜写。机位、运动、光线、镜头各一句,少写形容词。收益:少出方向性偏差,减少重生成次数。
  4. 用本地历史库存参考图。上传过的图都在库里,下次从面板点选。收益:同一张产品图反复迭代时零重复上传。

开头那条「产品图变 10 秒宣传片」的任务,到这里已经可以完整跑通:clone 仓库,生成你的第一条成片。

【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image & video generation studio with 600+ models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进