ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Open Generative AI 完整指南:14 个工作室、420+ 模型,5 分钟跑起自托管 AI 图像视频生成平台

Open Generative AI 完整指南:14 个工作室、420+ 模型,5 分钟跑起自托管 AI 图像视频生成平台

Open Generative AI 完整指南:14 个工作室、420+ 模型,5 分钟跑起自托管 AI 图像视频生成平台

【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image & video generation studio with 600+ models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI

Open Generative AI 是一个可自托管、MIT 协议的开源 AI 图像/视频生成工作室,内置 14 个生成工作室和 420+ 模型(Flux、Midjourney、Kling、Sora、Veo 等),无内容过滤;桌面版还支持免 key 的本地模型推理。

🚀 快速上手:三种方式跑通项目

先说清楚前提:云端模型必须自带一个 Muapi.ai 的 access key(首次启动会弹窗提示,粘贴 key 的值即可,不要填 key 的名称/标签);只用本地模型则完全可以跳过。

方式一:源码构建(Next.js Web 版 / Electron 桌面版)

git clone --recurse-submodules https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI cd Open-Generative-AI npm run setup npm run dev
  • --recurse-submodules不能省:Workflow 和 Agent 功能依赖两个 git 子模块(packages/Vibe-Workflow/、packages/Open-Poe-AI/),缺了构建会失败。
  • npm run setup实际执行的是子模块初始化 +npm install+ 构建 4 个 workspace 包(studio、workflow-builder、agents、design-agent),只跑npm install是不够的。
  • npm run dev启动 Next.js Web 版,打开http://localhost:3000;想跑 Electron 桌面版则改用npm run electron:dev。
  • 前提:Node.js 18+。

方式二:Docker(最干净的服务端部署)

docker compose up -d

docker-compose.yml 只做了四件事:用根目录 Dockerfile 构建生产镜像、容器 3000 端口映射到宿主机 3001、设置NODE_ENV=production、异常自动重启。浏览器访问http://localhost:3001。

方式三:桌面预编译版(最省事)

仓库 Releases 页提供1.0.9安装包:macOS(Intel + Apple Silicon 的 .dmg)、Windows x64(.exe)、Linux(.AppImage / .deb),双击安装即可,完全不需要 Node.js。注意两点:

  • macOS 首次打开会被 Gatekeeper 拦截(应用未签名),处理一次即可,后文"高频报错"有具体命令。
  • 桌面版和 Web 版能力不对等:本地推理只有桌面版支持,Web 版和 Docker 版永远走云端 API。

🗺️ 能力版图:14 个工作室一览

应用启动后默认进入 Studio 页,顶部 Tab 切换全部工作室。不用逐个展开,一张表看完:

工作室干什么模型 / 亮点
Image Studio文生图、参考图改图70+ 文生图 / 70+ 图生图模型,按"是否上传参考图"自动切换模型集
Video Studio文生视频、图生视频85+ / 120+ 模型(Kling、Sora 2、Veo 3、Seedance 2.0、Wan 2.6)
Lip Sync Studio音频驱动的口型视频9 个专用模型,两种模式:肖像图+音频、视频+音频(Infinite Talk、LTX 2.3 Lipsync、LatentSync 等)
Audio Studio文本生成音乐、音频编辑15+ 音频模型
AI Clipping长视频自动剪辑、提取高光视频切片自动化
Vibe Motion Studio风格化运动/动画视频特效动效生成
Recast Studio图像/视频中替换人物主体与外形Body Swap,3 个模型
Cinema Studio电影级镜头控制出图6 种虚拟相机、11 款镜头、6 档焦距(8–85mm)、3 档光圈(f/1.4 / f/4 / f/11),选择会被翻译成 prompt 修饰词;public/assets/cinema/ 下就是每种镜头的预览图
Marketing Studio单输入批量产出广告/营销素材变体营销向批量生成
Workflow Studio可视化多步 AI 流水线节点拖拽连线、Playground 交互运行、每条工作流可 API 调用
Agent Studio会话式多轮代理自然语言描述任务,由代理规划并执行生成
Design Agent Studio画布式自主设计代理迭代式视觉设计
Explore Apps应用模板目录基于同一模型目录构建的模板与用例
AI Influencer Studio打造人设一致的 AI 网红内容人物一致性管理

另外还有一个 MCP CLI 工具(packages/studio/src/components/McpCliStudio.jsx)面向命令行集成。所有工作室共享三件套:上传历史(参考图本地缓存,跨会话复用不重复上传)、生成历史(存浏览器本地)、智能参数控件(画幅/分辨率/时长按模型能力动态适配)。

全部 400+ 模型定义集中在单文件 packages/studio/src/models.js(3.4 万行),是全项目唯一数据源,加模型只改这一个文件。

🔍 核心模块深拆

本地推理:sd.cpp 与 Wan2GP 双引擎

解决什么问题:云端 API 要 key、素材要上传第三方;本地推理则无 key 需求、数据不出机器。但记住一个关键限制:本地推理只在桌面版可用。

怎么用:两个引擎都在Settings → Local Models里配置,共享同一套 UI。

  • 引擎一sd.cpp(内置,一键安装):自动下载 stable-diffusion.cpp 的 C++ 引擎,支持 Apple Silicon Metal、CUDA、Vulkan、ROCm 加速。内置 6 款模型:SD 1.5 三兄弟(Dreamshaper 8 / Realistic Vision v5.1 / Anything v5,各 2.1 GB)、SDXL Base 1.0(6.9 GB)、Z-Image Turbo(2.5 GB + 2.7 GB 共享辅助文件,8 步)和 Z-Image Base(3.5 GB + 2.7 GB,50 步高质量)。装好后在 Image Studio 模型选择器旁打开 ⚡ Local 开关即可生成。
  • 引擎二Wan2GP(自带安装,"自带服务器"模式):在任意一台 CUDA/ROCm GPU 机器上装好 Wan2GP,桌面版既可以直接指向本地安装目录,也可以填远程 MCP 服务器 URL。可用 Wan 2.1 1.3B(约 8 GB 显存)、Wan 2.2 14B、Hunyuan Video 1.5、LTX-2 Distilled 等视频模型,以及 Flux.1 Dev、Qwen Image 大图像模型。Mac 用户可以把推理卸载给局域网里的显卡机器,桌面版留在 Mac 上操作。

代码在哪:electron/lib/localInference.js 负责引擎下载、断点续传和进度解析;electron/lib/wan2gpProvider.js 负责与远程 Wan2GP 服务器通信;electron/lib/modelCatalog.js 是本地模型清单。

Workflow Studio:把模型串成可视化流水线

解决什么问题:手动"生图 → 改图 → 生成视频 → 配音"要反复复制粘贴参数,工作流引擎把多步管道变成拖拽连线。

怎么用:三个 Tab 分工明确——Templates 提供预置模板(图像链、视频管道等)、My Workflows 管理自己保存的管道、Community 浏览社区发布的工作流。节点编辑器里把 A 模型的输出接到 B 模型的输入;Playground 用表单 UI 交互式运行,结果内联渲染;每条工作流同时可通过 Muapi API 直接调用,方便接进自己的后端。

代码在哪:packages/studio/src/components/WorkflowStudio.jsx 是前端主体,工作流引擎来自 git 子模块 packages/Vibe-Workflow/,本身也是可独立复用的开源库。

多图参考:一次喂给模型 14 张图

解决什么问题:角色设定图、服装参考、场景图混着用,单图上传要来回切换十几次。

怎么用:当选中支持多图的编辑模型(Nano Banana 2 Edit 单次最多吃14 张,Flux Kontext Dev、GPT-4o Edit、Kling O1 Edit 等吃 10 张,其余 2–8 张不等)时,上传控件自动切到多选模式:每个缩略图带序号复选框,按你勾选的顺序提交,支持批量上传,最后点 "Use Selected" 确认。配合上传历史功能,同一张参考图整个生命周期只传一次。

代码在哪:packages/studio/src/components/ImageStudio.jsx 内实现了双模式切换与多图选择器逻辑,各模型的最大图片数对照表在 README.md 的 "Multi-Image Input" 一节。

🧪 真实场景演练

场景 1:M 系列 Mac 上无 key 本地出图

背景:不想把 prompt 和素材交给第三方 API,也不想申请任何 key。

操作路径:装桌面版 → Settings → Local Models → 一键安装 sd.cpp 引擎 → 下载 Dreamshaper 8(2.1 GB,Mac 上最轻量的测试项)→ 回 Image Studio,模型选择器旁打开 ⚡ Local → 选 Dreamshaper 8 点 Generate。

得到什么:全程本地、无网络依赖的图像生成。README 给出的 M2 实测是约 1–2 秒/步(Metal 生效时);如果看到约 10 秒/步,说明引擎回退到了 CPU,可重装 sd.cpp 引擎。想上质量换 Z-Image Turbo(8 步)或 Base(50 步),但那需要 16 GB 内存。

场景 2:把生图能力接进自己的产品

背景:你的站点已有用户体系,想加一个"AI 生图"按钮,不想重造模型调度轮子。

操作路径:申请 Muapi access key → 按"提交 + 轮询"两步调用:先POST /api/v1/{model-endpoint}(带x-api-key请求头,body 放 prompt 与参数)拿到request_id,再轮询GET /api/v1/predictions/{request_id}/result直到状态为completed,从outputs[0].url取结果;文件走POST /api/v1/upload_file先上传换 URL。本地开发时vite.config.mjs的代理会把/api转发到 Muapi,天然没有 CORS 问题。

得到什么:改动量极小的集成方案。仓库里 app/api/v1/creative-agent/ 就是一个现成的 Next.js API 路由示例,API 客户端逻辑可参考 src/lib/muapi.js。

⚠️ 边界、限制与高频报错

高频报错:现象 → 原因 → 对策

  1. 现象:npm run dev报Couldn't find a 'pages' directory。原因:不在仓库根目录执行,或子模块没初始化导致app/相关包缺失。对策:确认当前目录同时有app/、package.json、next.config.mjs,重跑npm run setup。
  2. 现象:页面能打开,但工作室组件报错或模型列表为空。原因:只跑了npm install,workspaces 包没构建。对策:跑npm run build:packages或直接完整执行npm run setup;若 packages/Vibe-Workflow/ 目录为空,说明 clone 时漏了--recurse-submodules。
  3. 现象:macOS 首次打开桌面版被 Gatekeeper 拦截。原因:应用未经 Apple 签名与公证。对策:终端执行xattr -cr "/Applications/Open Generative AI.app"后右键应用选 Open;或走"系统设置 → 隐私与安全性 → 仍要打开"。只需做一次。
  4. 现象:Ubuntu 24.04+ 上 AppImage 启动即闪退或无反应。原因:内核策略apparmor_restrict_unprivileged_userns挡住了 Chromium 的用户命名空间沙箱。对策:改用.deb包(安装时自动配置 AppArmor profile,推荐);或临时执行sudo sysctl -w kernel.apparmor_restrict_unprivileged_userns=0。
  5. 现象:8 GB 基础款 M 系列 Mac 跑 Z-Image 导致整机卡死。原因:Z-Image 权重加计算缓冲约占 9.8 GB,超出可用余量。对策:8 GB 机器本地只用 SD 1.5 模型(Dreamshaper 8 / Realistic Vision v5.1,2.1 GB);Z-Image 从 16 GB 内存起步。

如实说的局限

  • 本地推理 = 桌面版专属:Web 版和 Docker 版永远走云端 API,且云端模型必须 BYOK(自带 Muapi.ai key),key 存在浏览器 localStorage,没有账号体系。
  • 没有 GPU 服务器就别指望本地视频模型:Wan2GP 的运行时(Sage attention、flash-attn 等)只有 CUDA/ROCm 路径,必须有 GPU 机器当推理节点;Mac 上本地只能跑 sd.cpp 的图像模型。
  • 模型数量口径:README 分类表合计 420+,项目描述写 600+,以 packages/studio/src/models.js 的实际内容为准。
  • 历史与数据全在本地:生成历史、上传历史都只存在浏览器 localStorage,多用户、权限管理、云端同步一概没有。
  • 本地引擎排错日志只输出到进程控制台,需要从终端启动桌面应用才看得到。

⚖️ 它到底适不适合你

适合你,如果:

  • 你是想自托管并白牌化 AI 生成工具的开发者——MIT 协议,packages/studio/ 是独立组件库,README 明确提到可复用甚至转售;
  • 你的产品想接生图/生视频 API 的团队——"提交 + 轮询"两步模式,改动量小;
  • Mac 用户想零成本试本地 SD 1.5 出图(Dreamshaper 8 只要 2.1 GB);
  • 对平台内容过滤有明确不满、需要无过滤创作环境的创作者。

不适合你,如果:

  • 你期望"下载即用、零配置"——云端模型必须自带 Muapi.ai key,且没有账号体系;
  • 手上没有 CUDA/ROCm GPU 机器,却想跑本地视频模型;
  • 团队需要多用户、权限管理、云端历史同步(历史只存在浏览器本地)。

想动手的话,最短路径是:先读 README.md 的部署与本地模型表格,再顺着 project_knowledge.md 走一遍代码结构;遇到配置问题去 README 提到的 Discord 社区提问。想贡献代码,从给 packages/studio/src/models.js 加一个模型、或在 packages/studio/src/components/ 里加一个工作室 UI 开始,是性价比最高的切入方式。

【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image & video generation studio with 600+ models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进