简介：面向深度学习与情感分析方向的研究者及毕业设计学生，这份资源提供了一套基于提示学习的多模态情感分析系统完整实现。系统将传统MULT模型升级为PromptModel，引入生成式提示与模态特定提示，再借助扩散模型完成跨模态信息生成，能够处理单模态至多模态共7种缺失场景，并已在MOSI、MOSEI、IEMOCAP、SIMS四个主流数据集上取得优异性能。压缩包共24个文件，以23个Python脚本为主，另附1张结果图，覆盖模型构建、数据加载、训练评估、结果可视化以及多数据集一键运行等模块，整体仅179KB，目录结构清晰，便于按需修改与复现实验。目前已有125人学习下载，特别适合用作毕业设计基线、多模态情感分析入门实践或缺失模态鲁棒性研究的参考项目。内容预览显示，代码内含扩散模型、多头注意力、位置编码等关键组件，并为各数据集提供独立处理脚本，可直接运行或二次开发。

1. 提示学习凭什么让多模态情感分析系统在小数据上翻盘

很多人第一次搭多模态情感分析系统时，默认路线是拿一个 BERT 处理文本、拿一个视觉模型抽图像特征，拼接后整体微调。这套思路在公开 Benchmark 上能跑，但落到自己的数据上往往一招就被打回原形：多模态情感标注极其贵，一段视频要同时覆盖说话人语气、面部表情、台词内容，能拿到几千条高质量三元组已经算不错，这个规模根本喂不饱上亿参数的模型，过拟合和模态失衡接踵而来。提示学习把思路从「改模型」换成「给模型出题」：冻结预训练主干，在输入端插入一组可学习提示向量，用很少的参数把模型引导到当前任务上。这套系统把训练成本压到接近单卡轻量训练的量级，在少样本场景下准确率往往还更稳，适合算法工程师和研究生在真实项目里落地。

2. 模块拆解与数据流：提示学习和多模态融合各管哪一段

2.1 多模态情感分析的标注瓶颈与模态异质问题

单模态情感分析在文本上已经比较成熟，但视频、图文、语音混合的多模态情感分析一直卡在两个地方。第一是标注成本，一个常规任务要拿到五千条高质量三元组，背后是抽帧、转写、多轮人工校验，时间成本比纯文本标注高一两个量级，多数团队根本没有余力去堆数据。第二是模态异质，文本是离散且高度压缩的符号系统，视觉帧是稠密连续的像素信号，两者信息密度差一个数量级，直接拼接特征会让梯度偏向容易学习的模态，最后系统表面在涨点，实际只是记住了文本观点词。

在这种限制下，完全微调一个「BERT + ViT」的系统，等于让上亿参数在几千条样本上重新适配，优化器稍微激进一点，验证集损失就反复横跳。这是我在几个实际系统里反复确认过的现象，不是理论风险。你在小数据上做多模态情感分析，第一条要接受的原则就是：能冻结的参数尽量冻结，能少训的参数尽量少训。

2.2 系统模块划分：编码、提示、融合、分类

整个系统按职责拆成五个模块，每个模块的输入输出和训练范围必须一开始就定死，否则后面调试会非常痛苦。

数据流向是这样：视频先均匀抽帧，取 8 到 16 帧，缩放后过视觉编码器得到形状为(B, V, H)的特征；文本转成 token 后，在 Embedding 层序列头部拼上一组可学习的提示 token，过文本编码器得到(B, T+Np, H)。两个序列同时进入跨模态注意力，输出一个聚合向量再过分类头得到情感极性。整条链路上真正可训练的只有提示模块、融合模块和分类头，参数量通常是全量微调的 1% 到 3%。

这里必须澄清一个容易搞混的点：提示学习解决的是「预训练模型如何低成本适配到当前任务」，而不是替代融合机制。我见过不少实现把提示学习当成万能瓶子，什么都想往里塞，结果文本侧改得花团锦簇，视觉侧仍然靠随机初始化的投影层硬顶，系统整体照样不稳。正确姿势是让提示向量只把文本编码器「唤起」到情感分析语义场，跨模态的一致性和极性判断交给融合模块去学。

2.3 常见做法里最稳的基线配置

如果只求一个能跑通、能稳定复现的基线，我一般会这么配：文本主干选 BERT-base 或 RoBERTa-base，根据显存容量决定，两个都冻结；视觉主干用 CLIP 的 ViT-B/16，选它的理由是这个模型天然经过大量图文对比预训练，嵌入空间和文本语义有一定可比性，后面做融合时压力小很多，比直接用 ImageNet 分类预训练的 ResNet 要顺滑。两个主干全部冻结，只训练提示模块、融合层和分类头。

抽帧上，固定每个视频均匀取 12 帧，不足 12 帧就复制首尾帧补齐。这个细节看起来很笨，但能省掉很多复现不一致的麻烦。文本侧直接取 ASR 转写结果或视频标题文本，不做额外清洗，先跑通再优化。分类头用两层的 MLP，中间加 ReLU 和 dropout，输出维度对应情感类别数。这套基线配置在多数小数据情感分析任务上都能在几个小时内跑完，给了后面调参一个可靠的参照系。

3. 文本模态的提示学习实现：冻结 BERT 主干、只调一组 Token 参数

3.1 离散提示、连续提示与重参数化提示：三个方案的取舍

文本侧的提示学习有三种常见做法，工程上必须分清。第一种是离散提示，也就是手工写模板，比如This video makes me feel [MASK]，不引入新参数，但对模板措辞极其敏感，换一个句子系统表现就明显变化，换数据集等于重写一套提示语，没法工程化维护。第二种是连续提示，把一组可学习向量直接拼到 Embedding 序列里，参数少且可训练，是目前最主流的做法。第三种是重参数化提示，在连续提示外面包一层小 MLP，把提示向量压到低维再恢复，目的是缓解随机初始化提示向量带来的训练波动，在小数据上更友好。

我建议初次实现直接用连续提示加可选的重参数化，别在离散模板上花时间。模板工程不可维护，而且它本质上还是在靠语言先验硬凑，跟提示学习「参数化引导」的初衷背道而驰。连续提示的代码量很小，就是把一个nn.Parameter拼进 embedding 序列，但要注意初始化方式、掩码拼接和冻结策略这三个细节，漏掉任何一个都会在训练时翻车。

3.2 冻结主干注入提示向量的 PyTorch 实现

下面这段代码是我在项目里常用的文本提示编码器，以 HuggingFace 的 Bert 结构为例，核心是冻结主干、拼接可学习提示向量：

import torch import torch.nn as nn class TextPromptEncoder(nn.Module): """ 提示学习文本编码器：冻结 BERT/RoBERTa 主干， 在 word embedding 序列前插入一组可学习的提示向量。 """ def __init__(self, base_model, hidden_size=768, n_prompt_tokens=20, reparam=True, bottleneck=256): super().__init__() self.base_model = base_model # 冻结主干参数，这是提示学习的核心约束 for p in self.base_model.parameters(): p.requires_grad = False # 可学习的提示向量，用小方差初始化，避免刚开始更新过于激进 self.prompt_embeddings = nn.Parameter( torch.randn(n_prompt_tokens, hidden_size) * 0.02 ) self.reparam = reparam if reparam: # 两层 MLP 把提示向量压到低维再恢复，降低训练方差 self.prompt_mlp = nn.Sequential( nn.Linear(hidden_size, bottleneck), nn.ReLU(), nn.Linear(bottleneck, hidden_size), ) def forward(self, input_ids, attention_mask): # 取基础 word embedding embeds = self.base_model.embeddings.word_embeddings(input_ids) # 在序列头部拼接提示向量，扩展到 batch 维度 batch = embeds.size(0) prompt = self.prompt_embeddings.unsqueeze(0).expand(batch, -1, -1) if self.reparam: prompt = self.prompt_mlp(prompt) # 关键：提示向量的掩码需要与序列长度对上 embeds = torch.cat([prompt, embeds], dim=1) prompt_mask = torch.ones(batch, prompt.size(1), dtype=attention_mask.dtype, device=attention_mask.device) attn_mask = torch.cat([prompt_mask, attention_mask], dim=1) # 走主干编码器 outputs = self.base_model( inputs_embeds=embeds, attention_mask=attn_mask, ) return outputs.last_hidden_state

逻辑说明：整个模块的核心约束是冻结主干，只让prompt_embeddings和prompt_mlp参与更新。前向时先把原始 token 转成 embedding，再把提示向量拼到序列头部，同时把 attention_mask 对应拼接成全 1，保证提示 token 能被模型看到。最后把拼接好的 embedding 喂给冻结的 Bert，拿到包含提示信息的文本特征。

参数说明：n_prompt_tokens控制提示向量的长度，推荐范围是 10 到 50，太短表达力不够，太长会拖慢序列计算，20 是比较稳的默认值。reparam建议在小数据量时打开，它能有效缓解随机初始化带来的训练波动，代价只是多几十万参数。bottleneck一般取hidden_size / 4到hidden_size / 2，太小会损失表达力，太大起不到平滑作用。初始化方差 0.02 是我试过比较稳的值，比默认的nn.init方案在小数据上更不容易飞。

提示：如果训练时发现 loss 完全不降，先检查prompt_embeddings是否为零初始化，或者确认主干参数确实被冻结了。打印参与训练的参数量是最快的排查方式。

4. 多模态融合实现：把视觉帧和文本提示特征对齐到同一空间

4.1 对齐策略：对比对齐与跨模态注意力，怎么选

融合之前必须先解决「两个模态不在一个空间」的问题。方案一是对比对齐，类似 CLIP 的思路，对文本整体表示和视觉整体表示做对比损失，让正样本对靠近、负样本对远离，优点是语义空间稠密，缺点是训练更慢，还要额外维护温度系数和负样本队列。方案二是直接用跨模态注意力，把视觉特征作为 key/value、文本特征作为 query，融合模块自己学投影关系，不需要额外的对齐损失。

对于情感分析这种分类任务，我一般直接用方案二。原因很直接：情感分析不需要构建细粒度的跨模态检索空间，只需要一个能反映「文本观点 + 视觉表情」联合语义的向量，跨模态注意力加一个轻量投影就够用，少一层训练复杂度，也少一个需要调的温度参数。方案一更适合做图文检索或零样本分类，放到情感分类任务里属于杀鸡用牛刀。

4.2 跨模态注意力融合模块的代码与维度管理

下面是一个常用的跨模态融合模块，把文本作为 query，视觉作为 key/value：

import torch import torch.nn as nn class CrossModalFusion(nn.Module): """跨模态注意力融合：文本特征作为 query，视觉特征作为 key/value。""" def __init__(self, hidden=768, n_heads=8, dropout=0.1): super().__init__() # 两个模态隐藏维度不同时，先投影到同一 hidden self.text_proj = nn.Linear(hidden, hidden) self.vision_proj = nn.Linear(hidden, hidden) self.cross_attn = nn.MultiheadAttention(hidden, n_heads, dropout=dropout, batch_first=True) self.norm = nn.LayerNorm(hidden) self.dropout = nn.Dropout(dropout) def forward(self, text_feat, vision_feat): # text_feat: (B, T, H)，T 包含提示 token # vision_feat: (B, V, H)，V 为帧数 t = self.text_proj(text_feat) v = self.vision_proj(vision_feat) attn_out, attn_w = self.cross_attn(query=t, key=v, value=v) # 残差 + 层归一化，稳定融合层训练 fused = self.norm(self.dropout(attn_out) + t) return fused

逻辑说明：两个输入先分别过投影层，把模态分布拉到同一空间，然后进MultiheadAttention，query 来自文本，key 和 value 都来自视觉，这样每个文本 token 都能从视觉帧里「查询」到与情感相关的表情和场景信息。残差连接和 LayerNorm 是融合层的稳定器，少了它们，训练前期 loss 会抖动得非常厉害。

参数说明：hidden必须和两个编码器的输出维度一致，实际工程里文本和视觉主干输出维度大概率不同，那就先各自加一个投影层对齐到相同维度再接注意力。n_heads经验值取 8，太小注意力表达力不够，太大会让单头关注区域碎片化。dropout取 0.1 够用，多模态融合层容易过拟合，不建议低于这个值。batch_first=True记得开，否则维度顺序是(L, B, H)，拼装时非常容易错。

注意：视觉特征要做 position embedding 合并。很多实现直接拿 ViT 输出的帧特征拼接，完全不管帧顺序，模型不知道画面先后，效果会掉一截。简单做法是把帧序号也编码进特征，或者提前用平均池化把帧序信息揉进去。

4.3 分类头与损失函数：先搞清楚任务是分类还是回归

融合层输出的向量还不能直接判极性，一般再接一个轻量分类头：Linear(hidden, num_classes)，或者更稳一点做成两层 MLP，中间加 ReLU 和 dropout。损失函数的选择要看数据集的标注形式：如果标签是离散的积极/中性/消极，用交叉熵；如果标签是连续的情感分数，比如常见的 MOSI 数据集那样从 -3 到 +3 的回归值，那就必须换回归头加 MSE 损失。这个区分看起来基础，但我在实际项目里见过不止一次拿分类头硬套回归标签，训练时 loss 怎么调都降不下来，最后才发现是任务定义错了。

连续分数场景还有一个工程细节：预测值要做 clip，限制在标签区间内，否则推理时偶尔会蹦出离谱的分数。离散分类场景则要注意类别不平衡，情感数据里正向和中性样本远多于负向，后面章节会专门讲评估指标的坑。

5. 常见问题与避坑：多模态情感分析系统最容易翻车的 5 个环节

5.1 视觉编码器没冻结：显存直接爆掉，过拟合如影随形

现象：训练到第 3、4 个 epoch，GPU 显存报警，验证准确率不升反降。

原因：很多人把「冻结主干」只用在文本编码器上，视觉编码器却默认放开了训练。ViT 在几千条样本上完全微调，梯度更新又大又杂，几个 epoch 就能把训练集背下来，验证集自然崩掉。这是我在多个项目里反复见到的头号翻车点。

解决：视觉主干同样冻结，只训练投影层和融合层。如果确实要微调视觉分支，给视觉分支单独设极低学习率，比如文本侧的十分之一，并且配合梯度裁剪，否则一个 step 的梯度就可能把预训练权重冲坏。上线前打印参与训练的参数数量，和理论值核对一遍。

5.2 文本和视觉序列维度对不上，融合张量直接撑爆

现象：代码在 cross_attn 那里报 shape mismatch，或者 loss 一直不降。

原因：BERT 输出维度是(B, T, H_text)，CLIP 输出是(B, V, H_vis)，H_text和H_vis不一致时直接拼进注意力必炸。另一个常见原因是MultiheadAttention的batch_first没设对，维度顺序颠倒。

解决：两个模态先各自过投影层，统一到同一个 hidden 维度再接注意力。我在融合层 forward 里习惯加一句显式断言，比如assert t.size(-1) == v.size(-1)，省得调试时到处查维度。维度错误这类问题，打印 shape 比看报错栈快得多。

5.3 提示向量零初始化，训练 loss 纹丝不动

现象：loss 在前几个 iteration 里完全是直线，一点下降迹象都没有。

原因：有实现图省事把prompt_embeddings初始化为零，冻结主干加零梯度提示，反向传播算不出有效更新，模型变成纯随机猜。

解决：用torch.randn乘 0.02 做初始化，或者打开重参数化 MLP 让梯度路径更平滑。顺带提醒，提示向量的随机初始化对最终效果影响不小，评估系统时必须固定随机种子，否则同一条数据跑两次结果不同，你很难判断改动是否有效。

5.4 抽帧策略不固定，推理结果忽好忽坏

现象：同一个测试视频，跑两次推理得到不同的情感极性。

原因：训练时做了随机抽帧，推理时却用了不同的抽帧方式，比如训练取随机帧、推理取第一帧，模型没见过这种分布偏移，视觉编码器对单帧内容又格外敏感，结果自然忽好忽坏。这个坑在视频情感分析里非常隐蔽，因为单次推理看起来正常，多次推理才暴露不一致。

解决：训练和推理统一抽帧逻辑。固定为等间隔取 N 帧，视频不足 N 帧就复制首尾帧补齐。把抽帧相关的 seed 和帧数写进配置文件，保证任何环境复现结果一致。

5.5 只用 accuracy 评估，系统在类别不均衡下虚胖

现象：测试准确率接近 85%，但系统对少数类几乎全部判错，整体指标被多数类拉高。

原因：情感数据天然不均衡，正向和中性样本远多于负向。accuracy 对多数类友好，掩盖了少数类全灭的问题。情感分析场景里，漏判负向情感的代价通常比误判正向大得多，这个偏斜必须反映在评估指标里。

解决：改用 Macro-F1 和混淆矩阵，按类别分别看精确率和召回率，把 Macro-F1 作为主指标。发布系统时同步输出每个类别的召回率，尤其关注负向类，避免被虚高的准确率骗过去。

6. 验证与进阶：用消融实验证明你的系统不是玄学

系统跑通只是第一步，真正要把这套方案投入生产，必须做一轮消融实验，证明每个模块都不是摆设。我的标准做法是三组对比：第一组去掉提示模块，改成直接微调文本主干，对比同样数据量下的效果；第二组去掉视觉模态，只保留文本提示编码，看视觉到底贡献了多少；第三组把提示向量随机打乱，看系统是否还在正常工作。三组做完，你就能说清楚系统的每个点分别带来什么收益。

记录实验结果的表格建议至少包含这几个维度：可训练参数量、训练时长、显存峰值、Macro-F1、负向类召回率。我跑过的几个小数据任务里，提示学习配置的 Macro-F1 通常比完全微调高 3 到 8 个百分点，可训练参数量却少了两个数量级，这个对比本身就是这套方案最有说服力的卖点。

进阶方向上，可以尝试把提示向量从 20 逐步加到 100，观察指标收益的边际变化，顺便确认序列长度增加带来的训练开销是否可接受。另一个值得做的实验是模态遮蔽测试：推理时分别遮掉文本和视觉，看系统对哪个模态更敏感。如果去掉视觉后指标几乎不掉，说明融合模块还没真正学到跨模态信息，系统本质上还是在靠文本捷径做判断。我现在每完成一版系统，都会先跑这组消融再谈上线，这个习惯帮我挡掉了至少三次看着好用、实际靠单模态硬撑的翻车。希望帮到你。

本文还有配套的精品资源，点击获取