说实话,AI真人短剧这条赛道,现在进场的人不少,但真正能把“角色一致性”和“商业变现”这两头都串起来的人没几个。大部分人卡在中间那一段:图能出,脸稳不住;脸稳住了,视频一动就崩;视频勉强能看,一算成本和工期,直接劝退。我从去年开始陆续做了一批AI真人短剧的样片和商单,踩过的坑基本覆盖了从角色设定、模型训练、分镜拆解、图生视频、口型对齐到接单交付的全流程,这套笔记就是把这套流程原原本本拆开讲。
这篇内容适合三类人看:一是手里有剧本但不知道怎么把真人演员成本降下来的内容团队;二是已经会用图生图、图生视频工具,但角色脸一换镜头就变人的个人创作者;三是想把这项技能变成收入,但不知道报价、交付和平台规则怎么处理的新手。我不讲虚的,参数、步数、抽卡数量、废片率、单集成本,都会给到具体数字,你可以直接照着改。
1. 先想清楚:AI真人短剧到底难在哪
1.1 三个卡点,决定你能不能做完一集
很多新手以为难点是“生成得像真人”,其实真人的质感在现在的模型能力下,属于最容易解决的一环。真正拖垮项目的是另外三件事。
第一是角色一致性。同一集里,女主从客厅走到厨房,一共五个镜头,如果五个镜头的脸型、发型、瞳色、皮肤质感有偏差,观众三秒就出戏。观众对真人脸的辨识精度极高,人能容忍场景假、道具假,但不能容忍“这女的一会儿像A一会儿像B”。
第二是动作与口型的可信度。图生视频模型在静态或微动的情况下表现很好,一旦让人物走路、转身、快速手势,就容易出现肢体形变、穿模、脸部拉伸。而短剧的核心恰恰是对话和情绪,人物不说话、嘴不动,就变成了PPT动态播放。
第三是投入产出比。一集三分钟的短剧,如果按平均每个镜头抽卡五次、每次生成都要等,单集素材生成时间很容易压到八小时以上,加上剪辑、配音、对口型,一个人干一天只能出一集。算上算力和时间成本,如果没有一套标准化的流程,这个项目在第二集就会崩盘。
所以我的整体思路是:把不可控的生成环节,尽可能拆成可控的资产化环节。脸做成资产、场景做成资产、提示词做成模板,剩下的才是抽卡。这套思路贯穿后面每一个章节。
1.2 为什么“脸稳不住”会直接吃掉你的收益
从商业角度看,角色一致性不只是审美问题,它直接关联三件事。
一是完播率与追更率。短剧的付费转化高度依赖角色粘性,观众追的其实是“这个人后面怎么样了”。脸一变,情感连接就断了,第3集之后的付费转化会断崖式下滑。我对比过自己两个系列的数据,脸稳的那个系列,第5集的完播率比不稳定那个高出接近一倍。
二是素材复用率。角色资产一旦稳定,你的封面图、切片、二创分发的素材都可以从同一套资产里出,边际成本极低。反之,每集都要重新抽脸,等于每集都从零开始。
三是接单时的议价能力。客户看到你交付的样片里角色前后一致,才会相信你能交付完整项目。我接过的一个商单,对方第一句话就是“你能不能保证主角的脸在十集里不变”,这个问题答不上来,单子基本就没了。
提示:不要先做长片再验证一致性。正确顺序是先做15秒的测试片段,把同一个角色放在三个不同场景、三个不同景别里,确认脸不崩,再往下推进整集。
2. 角色资产建立:把一张脸变成可复用的资产
2.1 角色设定表与三视图,是后面所有工作量的地基
这一步跳过的人,后面一定会返工。我要求自己每个主要角色都要有一份角色设定表,至少包含以下字段:
| 字段 | 说明 | 举例写法 |
|---|---|---|
| 姓名/代号 | 内部调用名 | 角色A |
| 年龄段 | 决定皮肤与骨相 | 26-30 |
| 脸型骨相 | 描述具体,避免“好看” | 窄长脸,颧骨略高,下颌线清晰 |
| 五官特征 | 眼型、鼻型、唇形 | 内双,眼尾微下垂,鼻梁直,唇偏薄 |
| 发型发色 | 含长度、分缝、发质 | 及肩黑发,中分,微卷 |
| 肤色肤质 | 决定后期调色 | 偏冷白,哑光,有轻微雀斑 |
| 常穿服装 | 2-3套固定造型 | 米色针织开衫 / 白衬衫 |
| 标志细节 | 便于观众记忆 | 左耳小痣、银色细项链 |
三视图(正面、侧面45度、半身)不是给美术看的,是给你抽卡时做参考图用的。我一般用同一角色的三视图 + 5张表情图组成“参考图包”,喂给支持参考图的生成流程。参考图包的图片必须是同一张脸、同一光线、同一妆容,混进不同风格的照片会直接污染结果。
注意:参考图不要用过度美颜或强滤镜的图片,磨皮过度会让模型学不到皮肤纹理,生成出来是“塑料脸”,一到近景就露馅。
2.2 角色LoRA训练:数据集、参数与一次能跑通的配置
想让脸在任何场景、任何角度都稳定,最可靠的办法还是训练一个角色LoRA。我试过纯靠参考图+提示词硬控,短片段可以,一旦镜头数上到二十个以上,崩的概率会明显上升。
数据集我一般准备18-30张,这个数量是我反复测试后的甜点区:少于15张,泛化不足,换个角度就变人;多于40张,容易把背景、服装一起学进去,导致换场景时把旧背景带出来。
选图的原则很明确:
- 6-8张正面、微侧、侧面45度,覆盖角度;
- 3-5张不同表情(平静、微笑、皱眉、惊讶);
- 3-4张半身与全身,让人物比例被学到;
- 2-3张不同光线(室内暖光、室外散射光);
- 全部为同一人、同一时期、无浓妆变化。
打标(caption)我用统一前缀加触发词的方式,比如ohwx person, a woman, ...,触发词用一个无意义字符串,避免和已有词冲突。每张图的描述写“人物特征 + 服装 + 背景 + 光线”,不要写情绪和故事,情绪留给提示词阶段。
训练参数这套是我目前跑得最稳的:
底模:写实类基础模型(真人质感优先,不要用二次元底模) 分辨率:768 或 1024(按显存选,1024更吃显存但细节更好) batch size:1-2 学习率:1e-4(UNet),文本编码器 5e-5 或更低 训练步数:1200-1800(20张图 × 60-90步) 网络维度 dim:32-64,alpha 取 dim 的一半 正则化图:可选,30-50张通用人像,防止过拟合 保存策略:每200步存一个,最后手动挑为什么是1200-1800步?步数太少,脸学不进去,生成出来是“有点像但不对”;步数太多,会过拟合,表现为换个发型就崩、脸部僵硬、皮肤像蜡。我习惯每200步存一版,训练完后用同一组提示词分别生成五张,对比哪一版最自然。通常最优解在总步数的60%-75%区间。
为什么dim取32-64?角色LoRA学的是单一身份,信息量不大,维度拉太高反而容易把训练图的背景、服装细节一起记住,泛化变差。32-64在“像”和“能换场景”之间比较平衡。
2.3 不训练模型也能稳住脸的三个替代方案
不是每个人都有显卡和时间训练,这三种替代方案我实测过,各有适用边界。
方案一:参考图注入 + 中等重绘幅度。用参考图作为条件输入,重绘幅度控制在0.45-0.6之间。低于0.4画面几乎不动,场景换不了;高于0.65脸就开始漂移。这个方案的优点是快,缺点是只能应付近景和固定角度,全景基本没法用。
方案二:种子池锁定。每个角色固定3-5个种子,提示词主体描述一字不改,只改场景和动作部分。这套方法在“同一场景内换表情”时非常有效,跨场景时稳定性一般,需要配合参考图一起用。
方案三:先出全身定妆图,再逐镜头局部重绘。先用一张高质量的定妆图作为全片的“锚”,每个新镜头都以它为底图做局部重绘(只改背景、改手势、改表情),人物主体区域用遮罩保护。这套方法稳定性最好,缺点是操作繁琐,适合镜头数不多、精度要求高的商业单。
我的实操建议:主角色一定训LoRA,配角用方案三,路人和背景用方案一。这样算力和时间分配最合理。
3. 分镜拆解与画面生成:把剧本变成可控的镜头
3.1 分镜表怎么写,才不会被生成环节卡住
剧本是给人看的,分镜表是给模型和剪辑看的。我用的分镜表长这样:
| 镜号 | 景别 | 时长 | 画面内容 | 人物动作 | 台词/情绪 | 备注 |
|---|---|---|---|---|---|---|
| S01 | 中景 | 3s | 客厅沙发,暖光 | 坐着,低头看手机 | 无 | 建立镜头 |
| S02 | 近景 | 2s | 同场景 | 抬头,眼神停顿 | “你怎么才回来” 平静 | 需口型 |
| S03 | 特写 | 2s | 手部 | 手指收紧 | 无 | 情绪铺垫 |
| S04 | 中近景 | 3s | 玄关方向 | 站起转身 | “我等了两个小时” 压抑 | 转身易崩 |
这张表有两个关键点。一是每个镜头必须写清“能不能动”。像“转身”“快步走”“大幅手势”这类动作,是图生视频的高风险区,要提前标注,能拆成两个镜头就拆。二是标出口型镜头,只有需要口型的镜头才走对口型流程,其余镜头用配音+环境音覆盖,能省掉大量时间。
分镜的景别配比我一般按 中景40%、近景30%、特写15%、全景15% 来排。全景最容易暴露场景假和人物比例问题,控制比例就是在控制废片率。
3.2 提示词模板化:固定结构,只换变量
抽卡效率低,八成是因为提示词每次重写。我用的结构是固定的六段式:
[角色触发词 + 身份描述] + [服装] + [动作/表情] + [场景与道具] + [光线] + [镜头与画质]举个实际用的例子:
ohwx person, a 28-year-old woman with narrow face and thin lips, shoulder-length black hair parted in middle, wearing beige knit cardigan and white shirt, sitting on sofa, looking down at phone, calm expression, modern living room, warm floor lamp, blurred background, soft warm side light, shallow depth of field, medium shot, 50mm lens, photorealistic, natural skin texture这套模板的好处是,换镜头时只需要改第三段和第四段,前两段(角色和服装)一个字都不动。角色描述的不一致,是脸漂移最常见的原因之一,很多人换个镜头就把“thin lips”漏了,模型自然给你换一张脸。
画质词我建议克制。堆一堆“8K、masterpiece、best quality”对写实类模型意义不大,反而容易让皮肤变得像磨皮。我通常只留photorealistic, natural skin texture, film grain三个词,效果更接近真人短剧的质感。
3.3 批量抽卡与筛选:把废片率当成核心指标
我给自己定的标准是:单镜头抽卡不超过6张,废片率控制在50%以内。超过这个数,说明提示词或参考图有问题,继续抽是浪费算力。
抽卡流程是:先用低分辨率快速出4张构图,选构图最对的1张,再用高分辨率重绘细化。这比直接高分辨率抽4张省一半以上时间。筛选只看三个点:脸对不对、手和肢体有没有明显畸形、构图能不能用。三个都过就留,不要纠结“这张光影更好看”,光影可以后期调。
生成时我会把同一个角色的种子记下来,建立一个种子表:
| 角色 | 种子 | 适用景别 | 备注 |
|---|---|---|---|
| 角色A | 1234567 | 近景/特写 | 脸部最稳 |
| 角色A | 7654321 | 中景 | 身体比例好 |
| 角色B | 2468135 | 中景 | 侧脸自然 |
有了种子表,紧急补镜头时就不用重新抽卡。
注意:每次切换场景,先把参考图重新挂上,不要指望模型“记得”上一张的脸。上下文记忆在多数生成流程里是不存在的。
4. 图生视频:让静帧动起来的实操要点
4.1 首帧质量决定成片上限
图生视频模型本质上是“在给定首帧的基础上推测后续帧”,所以首帧有任何瑕疵,后面都会被放大。我总结的首帧验收标准是:放大到200%看脸部没有糊、眼神有焦点、手指数量正确、衣物边缘干净。任何一条不过,回去重出图,不要指望视频环节能救。
另一个容易忽略的点是首帧的构图要预留运动空间。如果人物已经贴到画面边缘,一旦模型让人物往前走,就会出画或者脸部被裁。我一般让人物主体占画面中间60%的区域,四周留出余量。
4.2 运动幅度与运镜提示,写什么不写什么
图生视频的提示词和出图逻辑完全不同,它更关注“变化”。我一般只写三类信息:
- 主体动作:
she slowly turns her head to the left and blinks - 镜头运动:
slow push in、static camera、slight handheld shake - 环境动态:
curtains gently moving、light flickering
运动幅度控制是关键。我的经验值是:单镜头内只允许一个主要动作。想让人物“站起来+转身+说话”,几乎必崩。拆成三个镜头,每个镜头一个动作,稳得多。
不同动作的风险等级我整理成这样:
| 动作类型 | 风险 | 处理方式 |
|---|---|---|
| 眨眼、微笑、轻微点头 | 低 | 直接生成 |
| 转头、低头、抬手 | 中 | 缩短时长至2s内,多抽卡 |
| 站起、坐下 | 中高 | 拆成两个镜头,用剪辑接 |
| 走路、跑动 | 高 | 只拍中远景,避免近景全身 |
| 快速手势、递东西 | 高 | 用特写+切镜规避 |
4.3 口型对齐:三条路线,按预算选
口型是AI真人短剧的“信任门槛”。三条路线我都跑过:
路线一:通用对口型工具。上传人物视频和配音音频,自动对齐嘴型。优点是快,缺点是侧脸和遮挡场景容易出错,牙齿细节一般。适合中近景对话。
路线二:先生成音频再驱动。用音频驱动人脸生成,口型精度更高,但人物头部动作会受限,容易变成“只有嘴在动”。适合特写镜头。
路线三:规避。用背影、侧脸、低头、遮挡、切镜、画外音来绕开正面说话镜头。这是最省钱也最省时的做法,我现在的片子里,真正需要正面口型的镜头控制在30%以内。
实际排期上,我建议先配音再对口型。如果先做视频再配音,你会在音频长度上被卡死,只能反复调速,最后声音变得不自然。配音时按分镜表逐句录,每句留0.3-0.5秒停顿,方便后期切。
4.4 拼接与节奏:短剧的“钩子”在剪法上
素材生成完之后,剪辑阶段才是真正决定观众留不留的地方。我遵守几条硬规则:前3秒必须出现冲突或悬念;每个镜头不超过4秒,情绪镜头可以放到5秒;转场尽量用硬切,少用花哨转场。
帧率统一到25或30,所有素材先统一分辨率再剪,避免混用导致画面抖动。调色统一放在最后一步,先粗剪定节奏,再统一套一个色调,最后回到单个镜头微调。这个顺序能省掉大量重复工作。
5. 声音、调色与成片统一
5.1 音色选择:别让声音毁了一张好脸
配音是很多人忽略的一环。AI真人短剧的配音,我优先选中低音、语速偏慢、气息自然的音色。语速快、音调高的音色听起来像广告,观众第一反应就是“假的”。
实操上,我会给每个角色固定一个音色ID,记录下来,和角色设定表放在一起。同一角色跨集必须用同一音色,否则观众会认为是换了人。语速我一般调到 0.9-0.95 倍,句尾做轻微降调处理,听起来更像真人说话。背景音不要全程铺满,留白反而是真实感的来源。
5.2 调色与画质统一:消除“镜头间跳色”
AI生成的镜头之间,色温、对比度、噪点往往不一致,直接拼在一起会有明显的“闪”。我的做法是:粗剪完成后,对所有镜头统一套一个基础LUT,再做逐镜头匹配——以第一个镜头为基准,把后面镜头的白平衡、亮度往基准上靠。
另一个细节是统一颗粒感。生成图有的干净有的带噪点,我会给全片统一加一层很轻的胶片颗粒,把所有镜头拉到同一个质感基准上。这一步做完,成片的“塑料感”会明显下降。
我的经验:不要试图让每个镜头都完美,要让每个镜头“属于同一部片”。统一感比单帧精美更重要。
6. 成本核算与提效:一集三分钟到底花多少
6.1 算一笔明白账
以一集3分钟、约45个镜头为例,我的实际消耗大致如下:
| 项目 | 消耗 | 说明 |
|---|---|---|
| 角色LoRA训练 | 1-2小时 | 20张图,1500步 |
| 出图抽卡 | 3-4小时 | 45镜头×平均4张 |
| 图生视频 | 2-3小时 | 含排队与重抽 |
| 对口型 | 1-1.5小时 | 约15个正面镜头 |
| 配音与音效 | 1小时 | 含剪辑调整 |
| 剪辑调色 | 2小时 | 粗剪+统一调色 |
| 合计 | 约10-12小时 | 单人单机 |
算力成本按云端按量计费,一集约在几十到一百多元区间,具体取决于分辨率和重抽次数。真正贵的是时间,所以提效的核心不是省钱,是减少重抽。
6.2 四个真正有效的提效动作
第一,建立提示词库。把常用的场景、光线、景别描述存成片段,用的时候拼接。我现在出图基本不手写提示词,全靠拼。
第二,建立角色种子表。前面讲过,补镜头时直接调种子,省掉大量试错。
第三,分层渲染。人物和背景分开处理,人物用高分辨率,背景可以降低一档。成片里观众注意力在脸上,背景糊一点没人发现。
第四,控制正面口型镜头比例。这一条能省下30%以上的时间,前面已经展开讲过。
7. 商业变现路径与交付规范
7.1 四条变现路线,按门槛从低到高
一是平台分账与流量收益。把成片发到有短剧分账机制的平台上,靠播放和完播拿收益。这条路门槛最低,但需要持续更新,单集收益不稳定,适合作为流量入口。
二是商单定制。品牌方、本地商家、知识付费从业者需要短剧形式的宣传片。这是目前现金流最稳的一条,单条报价根据时长和复杂度从几百到几千不等。接单的关键是先给样片,再谈价格,样片必须体现角色一致性。
三是代做与外包。给其他内容团队做角色资产、图生视频、对口型等单项服务。适合技术强但不擅长谈客户的人,单价低但需求量大。
四是教程与模板售卖。把提示词库、分镜表模板、训练配置整理成产品。这条路边际成本最低,但需要你先有可验证的作品。
7.2 接单报价与交付清单
我的报价逻辑是:按时长定基础价,按镜头复杂度加价,按修改轮次封顶。比如基础价按每分钟计,包含角色一致性处理;需要正面口型的镜头每个加价;修改超过两轮另计。这样说清楚,后面不会扯皮。
交付时我一定会给这几样东西:成片(横竖两版)、封面图3张、切片素材3-5条、角色设定表、源工程文件。客户拿到这些能自己二次分发,满意度会高很多。
7.3 合规底线,别在小事上翻车
这块必须单独说,因为它决定你能不能长期做。
肖像与素材来源:训练和参考图用的照片,必须是自有或已获授权的。用网上随便找的真人照片训练角色模型,风险极高,我不碰。日常素材尽量用自己拍的、购买的商用素材库,或完全由模型生成的虚构人物。
AI生成内容标识:各内容平台对AI生成内容一般都有主动标注的要求,发布时按平台规则如实勾选或注明,不要心存侥幸。这既是规则问题,也是信任问题。
内容本身:剧情、台词、画面避免涉及真实机构、真实人物、争议话题,也不要做擦边内容。短剧是面向大众的内容,稳妥比刺激更值钱。
音乐与字体:背景音乐用可商用曲库,字体用开源可商用字体,这两个是最容易被告的细节点。
8. 常见问题速查与踩坑记录
8.1 问题排查表
| 现象 | 最可能的原因 | 处理方式 |
|---|---|---|
| 换镜头脸就变 | 角色描述不一致/未挂参考图 | 固定前两段提示词,重挂参考图 |
| 皮肤像塑料 | 画质词堆太多/训练图磨皮过度 | 删掉质量词,换训练图 |
| 手部畸形 | 手部占画面比例过大 | 改构图,手放在画面边缘或遮挡 |
| 视频人物脸部拉伸 | 运动幅度过大 | 缩短时长,只保留一个动作 |
| 口型对不上 | 音频与视频长度不匹配 | 先配音,按句切分再对口型 |
| 镜头间跳色 | 未统一调色 | 统一LUT + 逐镜头白平衡匹配 |
| 角色过拟合 | 训练步数过高/图太单一 | 降步数,增加角度和光线多样性 |
8.2 我踩过的几个坑
坑一:训练图混了不同妆容。早期我图省事,把角色不同时期的照片混在一起训练,结果模型学到的是“平均脸”,生成出来谁都不像。后来严格限定同一时期、同一妆容,问题才解决。
坑二:追求单帧精美,忽略统一感。有段时间我每张图都精修,结果拼起来像五个不同剧组拍的。后来放弃单帧完美,转向统一质感,成片观感反而提升明显。
坑三:正面口型镜头拍太多。第一集我几乎每个对话都用正面口型,工期直接翻倍,还有几个镜头怎么都对不上。第二集开始大量用侧脸、背影、切镜,效率和质量同时上来了。
坑四:没做种子表,补镜头全靠重抽。客户临时要加一个镜头,我花了四十分钟才抽出一张脸对得上的图。做了种子表之后,这类补拍基本五分钟搞定。
坑五:交付没写修改轮次。有个单子客户反复改台词,导致口型和配音全部重做,来回改了六轮。后来我在报价单里明确写清包含两轮修改,超出另计,扯皮少了很多。
这套流程跑顺之后,我一个人稳定产出是两天一集,质量能撑住商单交付。真正拉开差距的不是你用哪个模型,而是你有没有把角色、提示词、种子、分镜这些东西资产化。模型每几个月就换一代,但资产和流程是可以一直复用的——我现在换个新模型,第一件事就是把旧的提示词库和角色参考图包直接迁移过去,半天就能恢复产能。