简介：基于深度残差网络与AVEC2014数据集的抑郁症诊断系统Python项目，面向期末大作业、课程设计与综合实践场景，适合人工智能或计算机专业学习者，用于掌握深度学习在心理健康评估中的应用路径。项目通过残差网络对语音、面部表情及文本语义等多模态行为特征进行分层提取，并结合跨模态融合实现抑郁程度量化分析，覆盖数据预处理、模型构建、训练验证与测试评估的完整流程。压缩包共15个文件，以9个Python脚本为主，涵盖数据载入、网络定义、训练、测试等功能，另含备份文件和说明文档，整体仅11KB，结构紧凑便于二次开发。代码模块化设计，支持参数调优与复现实验，可作为课程设计的可靠工程参考。目前已有101人学习浏览，适合希望快速获取可运行深度学习诊断系统的开发者。

1. 基于ResNet的AVEC2014抑郁症诊断：先把访谈数据变成图像，再让网络打分

一段十几分钟的医患访谈录像，医生听完要花十分钟给PHQ-8量表逐项打分，主观且耗人力——AVEC2014抑郁识别子任务要做的就是让机器看完这段访谈，直接输出一个0到24的抑郁分数。这个任务的公开数据集来自DAIC-WOZ访谈库，音频、视频、文本转录都齐，很多人上来就想用端到端深度学习搞定它，结果发现数据量只有几十个访谈，直接训一个视频模型根本训不动。ResNet在这里的真正价值是当特征提取器：把访谈录音切成片段、转成语谱图或伪图像，再用ImageNet预训练权重冷启动，微调后输出的MAE能压到4分以内。这篇笔记就把这套Python实现按数据准备、图像编码、模型改造、训练评估、踩坑记录的顺序完整写一遍，适合正在做情感计算、数字医疗方向的研究生和算法工程师照着复现。

2. 先搞清楚AVEC2014数据集：申请、解包、标签对齐

2.1 AVEC2014抑郁子任务与DAIC-WOZ：回归问题，标签是PHQ-8分数

AVEC2014是Audio/Visual Emotion Challenge的2014年赛事，抑郁子任务用的是DAIC-WOZ数据集。DAIC-WOZ是访谈语料库，由一位虚拟 interviewer 引导参与者做问答，内容覆盖工作、家庭、社交等维度，全程录下音频和视频，并带文本转录。每个参与者做完访谈后还会填一份PHQ-8抑郁量表，总分0到24分，分数越高抑郁倾向越明显。官方把数据切成三份：训练集、开发集、测试集。训练集和开发集都会公开PHQ-8标签，测试集的标签不公开，要提交预测结果给官方评测。

这个任务最容易被忽略的一点是它的评价性质：它不是分类任务，而是回归任务，评测指标是预测分数与真实PHQ-8分数之间的MAE和RMSE。所以搭建模型时最后一层输出必须是一个连续值，而不是softmax概率；损失函数也要按回归来选，不能用交叉熵。常见做法是把开发集当验证集用，跑完所有实验后在测试集上提交一次结果。

2.2 申请与解包：一个访谈一个文件夹，音频、转录、标签各就各位

DAIC-WOZ数据集的获取不是直接点下载链接，需要去AVEC挑战赛官网的数据申请页面填一份学术用途声明，说明单位、研究方向和数据使用范围，审核通过后会收到下载地址。整个压缩包解压后按访谈ID组织目录，每个参与者一个文件夹，里面包含音频文件、访谈转录文件和一个标签文件。不同年份的发布版本目录命名略有出入，但典型的组织方式是：

AVEC2014/ ├── train/ │ ├── 301/ │ │ ├── 301_audio.wav │ │ ├── 301_transcript.csv │ │ └── 301_PHQ8.txt │ ├── 302/ │ │ ├── 302_audio.wav │ │ ├── 302_transcript.csv │ │ └── 302_PHQ8.txt │ └── ... ├── dev/ │ └── ... └── test/ └── ...

拿到数据第一步不是急着提特征，而是把文件路径和标签扫一遍存成结构化清单。我一般会写一个扫描脚本，把每个参与者的ID、音频路径、转录路径、PHQ-8分数汇总成一个列表，后面所有数据加载都基于这个列表，避免每次都翻文件夹：

import os import re from sklearn.model_selection import train_test_split def scan_avec2014(root="./AVEC2014", split_name="train"): samples = [] split_dir = os.path.join(root, split_name) # 每个访谈一个子目录，目录名就是参与者ID for pid in os.listdir(split_dir): pid_dir = os.path.join(split_dir, pid) if not os.path.isdir(pid_dir): continue wav_path = os.path.join(pid_dir, f"{pid}_audio.wav") phq_path = os.path.join(pid_dir, f"{pid}_PHQ8.txt") if not os.path.exists(wav_path) or not os.path.exists(phq_path): print(f"[skip] {pid}: 音频或标签缺失") continue with open(phq_path, "r", encoding="utf-8") as f: phq8 = float(f.read().strip()) samples.append({"pid": pid, "split": split_name, "wav": wav_path, "phq8": phq8}) return samples # 训练集和开发集都扫出来，后续统一切验证集 train_samples = scan_avec2014("train") dev_samples = scan_avec2014("dev") print(f"训练集访谈数: {len(train_samples)}, 开发集访谈数: {len(dev_samples)}")

这段代码的逻辑是把每个访谈的路径和标签对齐成字典。PHQ-8标签文件可能带换行符，所以读取后做strip，再转浮点。扫描过程中如果发现音频或标签缺失就跳过并打印，方便排查压缩包是否解压完整。所有样本最后按split字段区分来源，但注意：训练集和开发集来自不同参与者，这一点非常关键——后面按访谈ID划分验证集时，不要混着切。

2.3 按访谈ID切分训练和验证，绝不能按片段切

AVEC2014一个参与者有三四十分钟的访谈，切成片段后能得到几百条样本，但切分时必须保证同一参与者的所有片段只出现在训练集或只出现在验证集，不能两边都有。原因是同一访谈的相邻片段在音频底噪、语速、情绪状态上高度相关，如果训练集和验证集都含同一人的片段，验证集的MAE会虚低，给人模型效果很好的假象，一上测试集就现原形。

# 按访谈ID切分，保证同一个人的片段不跨集合 all_pids = list({s["pid"] for s in train_samples + dev_samples}) train_pids, val_pids = train_test_split( all_pids, test_size=0.2, random_state=42 ) train_set = [s for s in train_samples + dev_samples if s["pid"] in train_pids] val_set = [s for s in train_samples + dev_samples if s["pid"] in val_pids] print(f"训练片段数: {len(train_set)}, 验证片段数: {len(val_set)}")

这里直接把训练集和开发集的访谈合并，再按PID做20%的随机切分。random_state固定为42保证可复现。如果机器配置不高，可以只在训练集内部切验证集，开发集留作最终评测，但那样训练数据会更少，容易过拟合。我通常的做法是把训练集加开发集合并起来做五折交叉验证，每折都按PID切，取五折MAE均值作为模型效果的估计，这样比单次切分更稳定。

3. 把访谈转成ResNet能吃的图像样本：语谱图与伪图像两条路线

3.1 音频转Log-Mel语谱图：librosa提取与三组关键参数

ResNet的输入是图像，访谈录音是波形，所以要先把wav变成图像。最直接的做法是提取Log-Mel语谱图：把音频按短时傅里叶变换拆成时间-频率帧，映射到Mel刻度，再取对数压缩动态范围，最后归一化成三通道图像。为什么用Mel刻度不用线性频率？因为人耳对低频更敏感，Mel刻度模拟了这种感知特性，抑郁状态相关的语音韵律特征（语速、停顿、基频变化）主要集中在中低频段，Mel刻度能把这些信息保留得更集中。

import librosa import numpy as np def wav_to_mel_spec(wav_path, sr=16000, n_fft=512, hop_length=128, n_mels=64, fixed_width=224): y, _ = librosa.load(wav_path, sr=sr) # 统一长度：固定宽度的语音片段，避免ResNet输入尺寸不一致 target_len = sr * 8 # 8秒一个片段 if len(y) < target_len: y = np.pad(y, (0, target_len - len(y))) else: y = y[:target_len] S = librosa.feature.melspectrogram( y=y, sr=sr, n_fft=n_fft, hop_length=hop_length, n_mels=n_mels ) log_S = librosa.power_to_db(S, ref=np.max) # ref必须给，否则全负值 # 归一化到0-255，复制成三通道适配ImageNet预训练输入 log_S = (log_S - log_S.min()) / (log_S.max() - log_S.min() + 1e-8) img = (log_S * 255).astype(np.uint8) img = np.stack([img, img, img], axis=-1) return img

这段代码里有三个参数对结果影响最大：n_fft决定频率分辨率，512对应31.25Hz的分辨率（16000采样率下），太小则频率模糊，太大则时间分辨率下降；hop_length决定时间帧步长，128是n_fft的四分之一，帧间重叠75%，语谱图更平滑；n_mels决定Mel滤波器个数，64是平衡尺寸和信息的常用选择。这些参数不是死的，如果你想抓更细的韵律特征，可以试n_mels=128，但图像尺寸会变大，训练更慢。注意power_to_db的ref参数一定要给，不给默认ref=1，得到的是全负的dB值，归一化后语谱图会整体偏暗甚至全黑。

3.2 把官方预提取特征组织成伪图像：二维网格编码的Python实现

除了自己提语谱图，AVEC2014还发布了预提取好的音频特征（低层描述符、语音词袋等）和视频特征。这些特征原本是时序向量序列，不是图像，但可以重排成二维矩阵塞给ResNet。常见做法是把特征矩阵的每一行当作一个时间帧，每一列当作一个特征维度，通过双线性插值把矩阵缩放到固定尺寸，再归一化成三通道伪图像。

from scipy.ndimage import zoom def feature_to_pseudo_image(feat, target_size=56): # feat: 形状为 [T, D] 的时序特征矩阵 T, D = feat.shape # 插值到 2*target_size 高度，再裁到 target_size # 这样做的目的是保留时间轴上更完整的上下文 resized = zoom(feat, (2 * target_size / T, target_size / D), order=1) resized = resized[-target_size:, :target_size] # 百分位归一化，抗离群点 lo, hi = np.percentile(resized, [1, 99]) resized = np.clip((resized - lo) / (hi - lo + 1e-8), 0, 1) return np.stack([resized, resized, resized], axis=-1).astype(np.float32)

伪图像路线的优点是省去音频特征提取的环节，直接吃官方特征，结果更容易和论文基线对比；缺点也同样明显：ResNet的卷积核假设相邻像素有空间相关性，而特征矩阵的相邻列之间未必有这种邻接关系，卷积在这里更像一个非线性特征变换器，效果往往不如语谱图路线。我一般把伪图像当baseline先跑通流程，主力实验还是放在语谱图上。这里插值用order=1的线性插值，不用更高阶，因为高阶插值会引入overshoot，让归一化后的暗部细节被压缩。

3.3 片段切分与数据增强：样本量不够时怎么凑

把整段40分钟访谈直接扔进ResNet是不现实的，GPU显存扛不住，而且一个样本只有一个标签，训练样本量太少。常见做法是把访谈切成等长片段，比如8秒一段，每个片段继承整段访谈的PHQ-8标签。一个40分钟的访谈能切出300个片段，训练集总样本量能到一万左右，勉强够微调ResNet。

片段切分后要做数据增强。语谱图不同于自然图像，垂直翻转会把频率高低颠倒，语谱图语义完全错误，所以不能用torchvision里的RandomVerticalFlip。我常用的增强是SpecAugment思路：在时间轴上随机遮蔽一小段，在频率轴上随机遮蔽几个Mel带，模拟录音中断和噪声干扰；再配合随机加一点高斯噪声，增强模型对录音环境的鲁棒性。

import torch class SpecAugment: def __init__(self, freq_mask=8, time_mask=16, noise_std=0.005): self.freq_mask = freq_mask self.time_mask = time_mask self.noise_std = noise_std def __call__(self, img): # img: [C, H, W]，H是Mel频带数，W是时间帧数 img = img.clone() if self.noise_std > 0: img = img + torch.randn_like(img) * self.noise_std # 频率遮蔽 h = img.size(1) f0 = int(torch.randint(0, max(1, h - self.freq_mask), (1,))) img[:, f0:f0 + self.freq_mask, :] = 0 # 时间遮蔽 w = img.size(2) t0 = int(torch.randint(0, max(1, w - self.time_mask), (1,))) img[:, :, t0:t0 + self.time_mask] = 0 return img

注意时间遮蔽的宽度不能太大，8秒片段里遮蔽16帧（每帧约8ms）相当于遮掉128ms，影响不大；但如果遮蔽宽度超过全片段的30%，会把关键的语音内容盖掉，训练loss会异常抖动。数据增强写在Dataset里而不是模型里，因为它只影响训练集，验证时不做增强。

4. 用预训练ResNet搭建抑郁评分回归模型：网络改造与训练脚本

4.1 ResNet18还是ResNet50：按样本量和显存选型

ResNet家族从18到152，层数越多表达能力越强，但在AVEC2014这种样本规模下，选型逻辑和ImageNet完全不同。一万左右的片段样本量微调ResNet50，参数量2500万，很容易在训练集上过拟合；ResNet18只有1100万参数，且残差结构更浅，微调时对学习率波动更不敏感。我的经验是：第一版流程用ResNet18跑通，确认数据管线没问题后再上ResNet50做对比实验；单卡显存小于8GB的建议只跑ResNet18，混合精度下ResNet50需要约6GB显存做batch size 32。

ResNet50在这类任务上唯一的优势是当你有足够多的外部抑郁语音数据做预训练时，深层网络能记住更多语音模式。如果只靠AVEC2014那一万片段，ResNet50的收益会被过拟合抵消。另外torchvision自带的ImageNet预训练权重对语谱图依然有效，因为浅层卷积学到的是边缘、纹理、颜色块，这些基础模式在语谱图上同样存在——频谱边缘、共振峰条纹、静音区色块。这是迁移学习能work的根本原因。

4.2 把分类网络改成回归头：全连接层替换与输出含义

torchvision里的resnet18默认输出1000类ImageNet分类概率，最后接的是一个全连接层，输入维度是512（resnet18/34）或2048（resnet50/101）。要做PHQ-8回归，只需把最后一层换成线性输出或者带中间隐层的回归头。回归头不要设计太复杂，样本量少时一个512→128→1的三层结构已经容易过拟合，可以先从512→1的线性头试起。

import torch import torchvision.models as models def make_regressor(arch="resnet18", out_dim=1): if arch == "resnet18": net = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) in_feat = net.fc.in_features elif arch == "resnet50": net = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V1) in_feat = net.fc.in_features else: raise ValueError(f"unknown arch: {arch}") # 冻结浅层：样本量小的时候分批解冻比全量微调稳 for name, p in net.named_parameters(): if name.startswith(("layer4", "fc")): p.requires_grad = True else: p.requires_grad = False net.fc = torch.nn.Sequential( torch.nn.Linear(in_feat, 128), torch.nn.ReLU(), torch.nn.Dropout(0.3), torch.nn.Linear(128, out_dim), ) return net net = make_regressor("resnet18")

这段代码做了三件事：加载ImageNet预训练权重、按层名冻结参数、替换全连接层。冻结策略是关键——训练初期先只让layer4和回归头更新，浅层特征复用ImageNet的通用模式；等loss下降平缓后再解冻layer3甚至全部层，用小学习率继续微调。很多新手一上来就全量微调，训练集MAE降得飞快，验证集却一动不动，就是浅层梯度噪声太大把预训练特征冲掉了。

4.3 完整训练脚本：回归损失、优化器参数与MAE/RMSE计算

回归任务的损失函数首选SmoothL1Loss，也叫Huber Loss。它结合了L1和L2的优点：误差大时梯度恒定为1，不容易被离群样本带偏；误差小时梯度线性衰减，收敛更精细。相比MSELoss，SmoothL1对PHQ-8这种0到24有限范围的标签更友好，因为真实标签里偶发性的大误差样本不会主导梯度。

import numpy as np import torch from torch.utils.data import DataLoader, Dataset import torch.optim as optim def train_model(net, train_loader, val_loader, epochs=30, lr=1e-4): criterion = torch.nn.SmoothL1Loss() optimizer = optim.AdamW( filter(lambda p: p.requires_grad, net.parameters()), lr=lr, weight_decay=1e-4 ) scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs) scaler = torch.cuda.amp.GradScaler() # 混合精度，显存紧张时有用 net = net.cuda() for epoch in range(epochs): net.train() total_loss, total_num = 0.0, 0 for x, y in train_loader: x, y = x.cuda(), y.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): pred = net(x).squeeze(-1) loss = criterion(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() total_loss += loss.item() * len(y) total_num += len(y) # 每个epoch结束在验证集上评估 metrics = evaluate(net, val_loader) print(f"epoch={epoch + 1}, train_mae={total_loss / total_num:.4f}, " f"val_mae={metrics['mae']:.4f}, val_rmse={metrics['rmse']:.4f}") scheduler.step()

训练循环里有几个细节值得注意：filter只保留requires_grad为True的参数传给优化器，冻结层不参与更新，既省显存又避免梯度被不必要地计算；CosineAnnealingLR把学习率从1e-4平滑降到接近0，比固定学习率在回归任务上稳得多；混合精度autocast要配合GradScaler使用，否则fp16梯度下溢会让loss直接变成NaN。batch size我一般取32，语谱图是224x224三通道，ResNet18在8GB显存下能跑batch 64但收益不大，32是收敛速度和显存占用的折中。

验证评估要同时算MAE和RMSE，还要算一个临床参考指标——PHQ-8大于等于10判定为抑郁，预测值和标签同侧的比例就是二分类准确率，这个指标比MAE更能说明模型在临床应用边界的价值：

def evaluate(net, loader): net.eval() preds, labels = [], [] with torch.no_grad(): for x, y in loader: out = net(x.cuda()).squeeze(-1).cpu() preds.append(out) labels.append(y) preds = torch.cat(preds).numpy() labels = torch.cat(labels).numpy() mae = float(np.mean(np.abs(preds - labels))) rmse = float(np.sqrt(np.mean((preds - labels) ** 2))) dep_acc = float(np.mean((preds >= 10) == (labels >= 10))) return {"mae": mae, "rmse": rmse, "depression_acc": dep_acc}

推理阶段从这段代码里抽掉backward相关逻辑即可：加载训练好的权重，对一段新访谈录音做同样的片段切分和语谱图提取，模型输出8秒片段的PHQ-8预测分，最后把所有片段的预测取均值作为整个访谈的最终得分。片段级预测方差大是正常现象，取均值能压掉一部分噪声。

5. 避坑与排查：数据集和ResNet迁移里最常见的五个坑

这章写的都是我自己复现AVEC2014任务时踩过的坑，每一个都实打实烧过时间，按现象-原因-解决的顺序列出来，遇到相同症状可以直接对照排查。

5.1 验证集MAE很低，测试集却崩了——片段级划分造成数据泄漏

现象：五折交叉验证MAE只有3.2，看起来比论文还强，提交到测试集却变成5.8，差距大到离谱。

原因：切分片段时没有按访谈ID分组，同一个访谈的相邻片段被random_split散落到训练集和验证集。相邻片段共享同一段录音的底噪、说话人音色和情绪状态，模型学会了记忆这些片段的私有关联，验证集评估完全失真。这是AVEC2014复现里最常见的翻车点。

解决：切分必须发生在访谈级别，先按PID划分再生成片段。代码上把train_test_split作用在去重后的PID列表上，然后用集合过滤样本。最好再加一层保障：训练脚本里断言训练集和验证集的PID交集为空，一旦非空直接抛异常终止训练。

5.2 loss一直不降——把分类任务的CrossEntropy用在了回归上

现象：训练了10个epoch，SmoothL1Loss从5.0降到4.5就卡住了，换成MSELoss也是一样，训练曲线像条水平线。

原因：检查后发现模型输出层还留着原始ImageNet分类头的结构——输出维度是1000，回归头没有接上，标签是0到24的浮点数，和1000维输出算交叉熵，每个batch的loss都在8.0附近震荡，梯度方向完全错误。

解决：改完回归头之后，用一行代码自检输出维度：net(torch.randn(2, 3, 224, 224)).shape，确认输出形状是[2, 1]而不是[2, 1000]。这个自检要写进训练脚本开头，每次换网络都跑一遍，属于便宜又保命的检查。

5.3 加载预训练权重报错——FC层维度不匹配

现象：net = models.resnet18(weights=...)之后直接改net.fc没问题，但如果你先保存了改好的模型再重新加载，就会报size mismatch for fc.3.weight。

原因：torchvision的权重加载机制会把state_dict里每个key的shape和当前模型比对，regression头输出维度是1，和原分类头输出维度1000不对应。如果你改了fc层又没有定制加载逻辑，默认的load_state_dict会直接抛错。

解决：不要让torchvision.models在构造时加载完整权重再改fc，而是先实例化不带权重的模型，替换fc层，再手动加载去掉fc层的预训练权重。常见写法是：

net = models.resnet18() net.fc = torch.nn.Sequential(...) state = torch.load("resnet18_imagenet.pth") state.pop("fc.weight", None) state.pop("fc.bias", None) net.load_state_dict(state, strict=False)

5.4 语谱图全黑或对比度极低——power_to_db忘传ref参数

现象：把生成的语谱图存下来检查，发现图像几乎全黑，只有零星几个亮点，训练时loss完全不动。

原因：librosa.power_to_db默认ref=1，而Mel谱的能量值普遍远小于1，取对数后全都变成负十几到负几十dB，直接归一化会压掉大部分动态范围。这不是数据问题，是可视化前处理的问题。

解决：把ref设为np.max(S)，这样最大能量处对应0dB，整个动态范围以最大值为基准展开。归一化时用(log_S - log_S.min()) / (log_S.max() - log_S.min())，再加1e-8防止除零。改完这行之后语谱图的条纹结构清晰可见，模型收敛速度也明显变快。

5.5 训练集和验证集MAE都往同一个值收敛——样本量太小，模型学到的只是均值

现象：训练到后期，训练集MAE和验证集MAE同时停在5.5附近不再下降，预测值几乎恒等于训练集PHQ-8的均值。

原因：PHQ-8分布本身就偏向低分段，大部分样本集中在5到10之间，如果片段数量不足、模型容量大，网络很快就学会了输出均值来最小化损失，特征分支的贡献被梯度彻底忽略。这种病态现象在回归任务里比分类任务更隐蔽，因为分类准确率还能看到过拟合迹象，回归只看MAE很难判断。

解决：训练过程中把预测值的标准差打印出来。如果预测标准差远小于标签标准差，说明模型在摆烂。应对手段是降低模型容量（ResNet18换ResNet34反而更糟，应该砍回归头宽度）、加大Dropout到0.5、增加语谱图增强强度。另一个有效手段是改用加权损失：对PHQ-8高分段的样本乘上1.5倍的损失权重，强迫模型关注少数但临床意义更大的样本。

6. 让预测再稳一点：多模态融合与区间验证技巧

ResNet语谱图这条路在单一模态里能做到MAE 4.3左右，再往上靠单模态很吃力。AVEC2014数据集还有文本转录和视频信号，最常见也最稳妥的融合方案是决策级融合：把ResNet对音频的预测、预训练语言模型对文本的预测、OpenFace提取的面部动作单元特征，分别得到三个分数，再用线性回归或简单加权平均合成最终PHQ-8。决策级融合比特征级融合稳得多，因为三个模态的特征维度差异太大，直接拼接会让高维特征主导梯度。

验证技巧上，我后来每次评估都会把预测结果按真实PHQ-8分数分桶看MAE：0到5分一桶、5到10分一桶、10到15分一桶、15分以上一桶。整体MAE会因为低分段样本多而被稀释，分桶之后高分段误差往往暴露得彻底，模型对重度抑郁的识别能力才是这个系统真正的临床价值。

多尺度语谱图也可以加：同一段音频分别用n_fft=512和n_fft=1024提两张语谱图，各过一遍ResNet取平均。512的分辨率抓韵律细节，1024的频率分辨率抓基频和共振峰，两种尺度互补，MAE大概能再降0.2到0.3。这个操作会把训练时间翻倍，但显存占用只多一份前向计算，值得一试。

做这个系统最大的教训就是：医学场景的模型评估别只看整体指标，患者分桶误差、预测置信度、和临床量表的结构效度都要看；代码里把PID泄漏检查和预测标准差检查固化成训练脚本的前置断言，能挡住一半以上的无效实验。希望帮到你。

本文还有配套的精品资源，点击获取