1. 视频大模型去路人这件事到底在解决什么痛点做短视频和商业拍摄的朋友应该都有过这种经历好不容易等到一个光线、构图、人物状态都到位的镜头结果画面边缘杵着两个路人或者背景里有个不该出现的杂物。传统做法要么是重新布景重拍要么是后期一帧一帧抠图修补一条十几秒的素材修下来半天时间就没了。我最早接触这类需求是在给一个本地生活商家拍探店视频的时候门口来来往往全是人客户又要求画面干净当时用传统跟踪遮罩的方式硬啃效率低到让人怀疑人生。这两年视频大模型的能力上来了尤其是具备时序一致性的视频生成与编辑模型让“去路人”这件事从手工活变成了工作流。核心逻辑其实不复杂把视频按帧拆开让模型理解每一帧里哪些是主体、哪些是干扰元素然后基于前后帧的时序关系把干扰区域用合理的背景内容补全最后再合成回视频。听起来简单但真正落地成一条稳定可复用的工作流中间要踩的坑相当多。这篇文章我想聊的就是这套工作流的完整搭建思路。它适合谁看一是做短视频内容、电商素材、商业拍摄的从业者二是对AI视频编辑感兴趣、想自己搭一套自动化流程的技术玩家三是手里有批量素材需要处理、想用API把流程串起来的小团队。我会把方案选型的考量、核心参数的设置、实操步骤、以及我踩过的那些坑都摊开讲尽量让你看完就能照着搭。需要先说明一点视频大模型这个领域迭代极快具体模型名称和接口参数可能几个月就变一轮所以我更侧重讲清楚“为什么这么设计”和“每个环节的判断依据”这样即使工具换了你也能快速迁移。2. 整体工作流设计与方案选型思路2.1 为什么不做“一步到位”而是拆成流水线很多人第一反应是现在不是有那种直接输入视频、输出干净视频的端到端模型吗为什么还要拆成工作流我实测下来的结论是端到端方案在简单场景下确实省事但一旦遇到复杂背景、多路人、镜头运动剧烈的情况稳定性和可控性就崩了。拆成流水线的好处是每个环节都能单独调参、单独替换、单独排查问题。我的工作流大致分成五个阶段素材预处理、干扰区域识别、时序信息提取、背景补全生成、合成与质检。每个阶段之间用中间产物衔接比如帧序列、遮罩图、深度图、光流图这些。这样做的好处是如果最终效果不理想你能快速定位到底是识别错了、还是补全崩了、还是合成时色彩对不上。提示不要一上来就追求全自动。先把每个环节手动跑通一遍确认每个中间产物是对的再去考虑用脚本或工作流引擎串起来。我见过太多人直接上自动化结果出错时完全不知道是哪一步的问题。2.2 模型选型视频大模型和图像模型怎么配合这里有个关键判断去路人本质上是一个“视频修复”任务它既需要图像级的精细补全能力又需要视频级的时序一致性。纯图像模型逐帧处理会出现闪烁、纹理跳变纯视频模型虽然时序稳但在局部细节上往往不如专门的图像修复模型。我的做法是混合使用用视频大模型负责理解时序和生成主体运动用图像修复模型负责单帧的精细补全两者通过光流和遮罩做对齐。具体来说视频大模型输出的是“这个区域在时间维度上应该长什么样”的指导信息图像模型在此基础上做像素级填充。这样既保证了不闪烁又保证了单帧质量。选型时我重点看三个指标一是模型对遮挡区域的理解能力二是生成内容的纹理合理性三是推理速度。速度这块要特别提醒视频模型的计算量是图像模型的几十倍如果你要处理的是几分钟的长视频一定要考虑分段处理和显存占用。2.3 提示词在视频去路人里的作用被低估了很多人以为去路人就是纯算法活跟提示词没关系。实际上提示词在这里的作用是告诉模型“你要补的是什么”。比如背景是一面砖墙你提示“红砖墙面自然光照轻微颗粒感”模型补出来的纹理就会更贴合如果你什么都不说模型可能补出一片模糊的色块。我一般会准备两类提示词一类是场景描述词描述背景的材质、光照、色调另一类是负面提示词明确告诉模型不要生成什么比如“不要出现人物、不要出现文字、不要出现明显重复纹理”。负面提示词在去路人场景里特别重要因为模型有时候会“脑补”出新的路人这就很尴尬了。2.4 工作流引擎的选择轻量级还是重型如果你只是偶尔处理几条视频用ComfyUI这类节点式工具手动跑就行直观、好调试。但如果你要批量处理或者要把流程嵌入到自己的业务系统里那就需要考虑用API把各个环节串起来。我目前的做法是前期调试用节点式工具确认参数后把每个环节封装成独立的API调用用一个轻量级的调度脚本串起来。这里要提一下上下文长度的问题。有些工作流引擎在处理长视频时会把所有帧的信息塞进一个上下文里很容易超出模型的token限制。我的经验是按镜头切分每个镜头单独处理镜头之间的衔接用重叠帧做过渡。这样既避免了上下文超长又保证了镜头切换处的连贯性。3. 核心环节拆解与关键参数实操3.1 素材预处理帧率、分辨率与色彩空间预处理这一步看着简单但参数设错后面全白搭。首先是帧率我一般会把素材统一转成24fps或30fps再处理太高的帧率会让计算量翻倍而且很多视频模型对高帧率的支持并不好。如果你的原始素材是60fps建议先降帧处理完再考虑要不要补帧回去。分辨率方面我的建议是不要超过模型的原生训练分辨率。比如模型是按1080p训练的你硬塞4K进去效果反而会下降因为模型没见过那么大的图。正确做法是先缩到1080p处理处理完再用超分模型放大回去。色彩空间也要统一我习惯转成sRGB避免不同软件之间色彩解释不一致导致合成后偏色。# 用ffmpeg做预处理统一帧率和分辨率 ffmpeg -i input.mp4 -vf fps30,scale1920:1080:flagslanczos -c:v libx264 -crf 18 -pix_fmt yuv420p preprocessed.mp4注意预处理时不要做过度压缩crf值建议在16到20之间。压缩太狠会丢失细节模型补全时就没有足够的参考信息。3.2 干扰区域识别手动遮罩还是自动分割识别路人这件事自动分割模型现在已经很强了但在复杂场景下还是会有漏检和误检。我的策略是“自动为主手动为辅”先用分割模型跑一遍生成初步遮罩然后人工快速过一遍把漏掉的路人补上把误判的区域去掉。分割模型的选择上我倾向于用支持视频时序的分割模型而不是逐帧分割。逐帧分割最大的问题是帧与帧之间的遮罩边缘会抖动导致后续补全时边缘出现闪烁。支持时序的模型会利用前后帧信息平滑遮罩效果稳定得多。遮罩的羽化程度也是个关键参数。羽化太小合成时边缘会有硬边羽化太大会把主体也吃掉一部分。我一般设置3到5个像素的羽化具体看分辨率。如果是1080p3像素左右比较合适4K的话可以到6到8像素。3.3 时序信息提取光流与深度图的配合光流图告诉模型“这个像素在下一帧会移动到哪里”深度图告诉模型“这个区域离镜头有多远”。这两个信息结合起来模型才能正确理解遮挡关系。比如一个路人从主体前面走过光流能捕捉到运动方向深度图能判断谁在前谁在后这样补全时就不会把背景错误地补到前景上。光流计算我一般用RAFT这类成熟方案精度够用速度也能接受。深度图用单目深度估计模型虽然精度不如激光雷达但对于视频补全来说足够了。这里有个细节光流和深度图的分辨率要和原视频对齐否则后续做遮罩变换时会错位。3.4 背景补全生成分块处理与重叠融合这是整个工作流里最吃算力的一步。我的做法是把视频按时间切成若干段每段之间保留10到15帧的重叠。每段单独送进模型生成生成完再用重叠帧做融合。融合时用简单的线性过渡就行不需要太复杂的算法因为重叠帧的内容本身就很接近。生成时的提示词要针对每个镜头单独写。比如镜头一是室内咖啡馆镜头二是室外街道提示词就要分别描述。我一般会先看一遍素材把每个镜头的场景特征记下来然后批量生成提示词。这一步看起来繁琐但实测下来对最终质量的提升非常明显。3.5 合成与质检色彩匹配和边缘处理合成不是简单地把生成区域贴回去就完事了。首先要做色彩匹配因为模型生成的内容和原始素材在色调上可能有细微差异。我一般用直方图匹配或者简单的色彩迁移算法把生成区域的色彩分布对齐到原始素材。边缘处理也很关键。即使遮罩做了羽化合成后边缘还是可能有轻微痕迹。我的做法是在合成后对边缘区域做一个窄带的高斯模糊宽度大概2到3个像素这样能把残余的硬边柔化掉。质检环节我会抽帧检查重点看三个方面有没有闪烁、边缘有没有鬼影、背景纹理有没有明显重复。4. 完整实操流程与参数配置实录4.1 环境准备与依赖安装我现在的测试环境是一台带24G显存的机器处理1080p、30秒左右的视频基本够用。如果你显存小一些可以把视频切得更碎或者降低处理分辨率。依赖方面主要是PyTorch、OpenCV、以及各个模型对应的推理库。# 创建虚拟环境 python -m venv venv source venv/bin/activate # 安装核心依赖 pip install torch torchvision opencv-python numpy scipy pip install raft-optical-flow # 光流计算 pip install depth-estimation # 深度估计提示不同模型对PyTorch版本的要求可能不一样建议先确定你要用的模型再按它的要求装环境。我踩过最坑的一次是装完发现某个模型只支持特定版本的CUDA又全部重装。4.2 分步骤操作从原始素材到成品视频第一步预处理。把素材统一成30fps、1080p、sRGB。这一步用ffmpeg一条命令搞定前面已经给过示例。第二步分割遮罩。我用的是支持视频时序的分割模型输入是预处理后的视频输出是每帧的遮罩图。这里要注意遮罩图要保存成单通道的PNG序列方便后续处理。第三步计算光流和深度。光流用RAFT深度用单目深度估计模型。这两个计算都比较耗时建议用GPU加速。计算完把结果保存成npy文件后续直接读取。第四步分段生成。按镜头切分视频每个镜头单独送进视频大模型。提示词按镜头场景写负面提示词统一加上“人物、文字、重复纹理”。生成时设置重叠帧为12帧。第五步合成。把生成结果按遮罩贴回原始帧做色彩匹配和边缘柔化。最后用ffmpeg合成回视频编码参数和预处理时保持一致。4.3 关键参数的计算与选择依据这里重点说几个容易设错的参数。首先是重叠帧数我试过6帧、12帧、24帧结论是12帧在大多数场景下够用。太少会导致融合处有跳变太多会浪费算力。具体可以根据镜头运动速度调整运动快就多留几帧。其次是遮罩羽化半径。这个和分辨率强相关我的经验公式是羽化半径 分辨率宽度 / 640。比如1920宽就是3像素3840宽就是6像素。这个公式不是绝对的但作为起点很好用。再就是生成时的采样步数。步数太少细节不够步数太多速度慢且可能过拟合。我一般设20到30步具体看模型。有些模型有推荐的步数范围优先按推荐来。4.4 批量处理的调度与资源管理如果你要处理大量视频调度就很重要了。我的做法是用一个简单的任务队列每个任务包含视频路径、镜头切分信息、提示词、参数配置。调度器按顺序取任务处理完一个再取下一个避免显存爆掉。资源管理上我建议把光流和深度计算放在一个阶段批量做完再统一做生成。因为生成阶段最吃显存如果和光流计算混在一起容易出现显存碎片。分开做的话每个阶段都能把显存用满。# 简单的任务调度示例 import queue import threading task_queue queue.Queue() def worker(): while not task_queue.empty(): task task_queue.get() process_video(task) task_queue.task_done() # 启动多个worker但要注意显存限制 for i in range(2): # 根据显存决定并发数 t threading.Thread(targetworker) t.start()注意并发数不是越多越好。我试过开4个并发结果显存直接爆了反而比单线程还慢。建议先测单任务显存占用再决定并发数。5. 常见问题与排查技巧实录5.1 生成结果闪烁、跳变怎么排查闪烁是视频去路人最常见的问题原因通常有三个一是遮罩在帧间不稳定二是光流计算错误三是生成时没有利用时序信息。排查顺序建议从遮罩开始把遮罩序列导出来逐帧看如果边缘在抖那就是分割模型的问题换支持时序的模型或者加平滑滤波。如果遮罩没问题就看光流。光流错误通常出现在遮挡边界和快速运动区域。可以可视化光流图正常的光流应该是平滑的如果出现大片异常值说明光流估计失败了。这时候可以尝试降低运动速度或者用更鲁棒的光流模型。5.2 背景补全出现“鬼影”或重复纹理鬼影一般是深度估计错误导致的模型把前景的背景补到了错误的位置。解决办法是检查深度图确保前景和背景的深度关系是对的。如果深度图本身就不准可以尝试用多帧深度做融合或者手动修正关键帧的深度。重复纹理是生成模型的通病尤其是背景是砖墙、草地、瓷砖这类有规律纹理的时候。我的应对方法是在提示词里明确描述纹理的随机性比如“自然砖墙砖块大小略有差异有轻微色差”。另外可以在生成后加一点噪声打破规律性。5.3 处理速度太慢的优化思路速度慢通常卡在生成阶段。优化方向有几个一是降低处理分辨率先低分辨率生成再超分二是减少采样步数但要注意质量下降三是用更小的模型如果场景简单没必要上最大的模型四是分段并行但要注意显存。我实测下来把分辨率从1080p降到720p速度能快一倍多质量下降在可接受范围内。如果最终输出是1080p可以用超分模型补回来整体效果比直接1080p生成差不了太多。5.4 常见问题速查表问题现象可能原因排查方法解决思路画面闪烁遮罩帧间不稳定导出遮罩序列逐帧检查换时序分割模型或加平滑边缘硬边羽化不足检查遮罩边缘增大羽化半径鬼影深度估计错误可视化深度图多帧融合或手动修正纹理重复生成模型过拟合观察背景区域提示词增加随机性描述色彩偏差色彩空间不一致对比生成区域和原始区域统一色彩空间并做直方图匹配速度过慢分辨率或步数过高监控各阶段耗时降分辨率、减步数、换小模型显存溢出并发过高或分段过大监控显存占用降低并发、切碎分段5.5 几个我踩过的坑和独家技巧第一个坑是忽略了音频。去路人处理的是视频画面但如果你直接处理带音频的视频合成时音频可能会不同步。我的做法是先把音频分离出来处理完画面再合回去这样最稳妥。第二个坑是过度依赖自动分割。有些场景下路人穿的衣服和背景颜色很接近自动分割会漏掉。这时候手动补几笔遮罩效果比调半天参数好得多。第三个技巧是关于提示词的。我发现把场景描述写得越具体生成质量越高。比如不要写“室内”要写“室内咖啡馆木质桌面暖色灯光背景有书架”。模型对具体名词的理解比抽象形容词好得多。第四个技巧是分段处理时的重叠帧不要用简单的复制粘贴而是用光流做对齐后再融合。这样即使镜头有运动重叠区域也能对齐得很好融合痕迹几乎看不出来。6. 工作流扩展与个人经验体会6.1 从去路人扩展到其他视频编辑任务这套工作流的框架其实很通用把“干扰区域识别”换成其他目标就能扩展到很多场景。比如去掉画面里的电线、广告牌、临时搭建物甚至去掉画面里的某个特定物体。核心逻辑是一样的识别、遮罩、时序分析、补全、合成。我还试过用这套流程做视频去水印效果也不错。区别在于水印通常是静态的遮罩可以复用处理速度会快很多。另外去水印对背景补全的要求更高因为水印往往覆盖在复杂背景上。6.2 和现有工作流工具的整合思路如果你已经在用Coze、Dify这类工作流平台可以把这套流程封装成几个节点。预处理和分割可以做成一个节点生成和合成做成另一个节点中间用文件存储或对象存储传递数据。这样你就能在平台上可视化地调度整个流程。API调用方面我建议把每个环节都封装成独立的HTTP接口输入输出都用标准格式。这样不仅方便工作流平台调用也方便你自己写脚本批量处理。接口的鉴权和限流也要考虑尤其是如果你要把服务开放给团队其他人用。6.3 关于成本和效率的几点真实感受最后说点实在的。这套工作流跑下来单条30秒视频的处理时间大概在10到20分钟取决于分辨率和场景复杂度。电费和时间成本加起来比请人手工修还是划算很多尤其是批量处理的时候。但我要提醒一句不要为了自动化而自动化。如果只是偶尔处理一两条视频手动用节点工具跑跑就行了搭一套完整的API工作流反而更费时间。自动化只有在批量、重复的场景下才有价值。另外模型迭代很快今天调好的参数可能下个月就不适用了。所以我的建议是把精力花在理解原理和搭建框架上具体参数保持灵活随时准备调整。这套工作流的核心价值不在于某个具体模型而在于这套“识别-分析-生成-合成”的思路换什么模型都能套用。