1. 从一张3D腹部CT说起：这个基准到底在解决什么

腹部CT的阅片工作，绝大多数影像科医生都有切身体会——一个增强扫描动辄三五百层，薄层重建后甚至上千层。你要在这上千层里找肝脏占位、胰腺病灶、腹膜后淋巴结，还要判断病灶的强化方式、与周围血管的关系、有没有远处转移。这套流程走下来，一个复杂病例花二十分钟到半小时是常态。而现实是，影像科的工作量每年都在涨，人手却没怎么变。

DeepTumorVQA2026这个基准，瞄准的就是这个矛盾。它把"3D腹部CT"和"医学视觉问答（VQA）"这两件事捏在一起，目标很明确：让模型能够针对三维腹部CT影像，自动回答临床医生关心的那些问题，最终把答案组织成一份结构化的影像报告。注意，这里的关键词是3D和分层式，不是那种拿单张二维切片做分类的老路子。

我先把话说在前头：这个基准不是让你直接拿去上临床的成品系统，它是一个评测基准。它的价值在于，给"3D CT + 医学VQA + 报告自动化"这条技术路线提供了一套可量化、可复现的考核标准。你训练出来的模型到底行不行，不是靠demo里挑几个好看的结果，而是要在统一的题目集上跑分。这一点对于做医学AI的人来说太重要了——没有基准，大家各说各话，论文里的指标看着都漂亮，实际一比就露馅。

那它适合谁看？三类人。第一类是做医学影像AI的研究生和工程师，你需要一个靠谱的benchmark来验证你的多模态模型；第二类是影像科里对AI有兴趣的医生，你想知道现在技术到底能做到什么程度、哪些环节还靠不住；第三类是做医疗信息化的产品经理，你在评估"影像报告自动化"这个方向能不能落地、卡点在哪。不管你是哪一类，下面这些内容都会围绕一个核心问题展开：3D腹部CT上的VQA任务，难点到底在哪，分层式设计又是怎么把这些难点拆开的。

2. 为什么2D VQA的老办法搬到3D CT上就失灵了

2.1 二维切片问答的"信息孤岛"问题

医学VQA不是新东西。早几年就有大量工作在胸部X光、眼底彩照、皮肤镜图像上做问答，题目类似"这张片子里有没有结节""病灶位于左肺还是右肺"。这些任务的共同点是：输入是单张二维图像，答案往往能从这一张图里直接读出来。

但腹部CT完全不是这个逻辑。举个最典型的例子：你问"这个肝脏病灶是典型的血管瘤吗"，答案取决于什么？取决于病灶在平扫、动脉期、门脉期、延迟期四个时相上的强化表现。平扫低密度、动脉期边缘结节状强化、门脉期向中心填充、延迟期等密度填充——这套动态特征，你只看动脉期那一张切片是判断不出来的。更别说还要结合病灶在三维空间里的位置、大小、与肝包膜的关系。

所以2D VQA的方法直接搬过来，会遇到一个根本性的信息孤岛问题：模型看到的每一张切片都是孤立的，它没法建立"这个病灶在第三十七层是这个样子，到了第五十二层变成了那个样子"的跨层关联。而腹部CT的诊断信息，恰恰大量藏在这种跨层、跨时相的关系里。

2.2 三维空间关系是腹部CT诊断的命门

我再举个更具体的例子。胰腺癌的可切除性评估，是腹部CT报告里最考验功力的部分之一。你要判断肿瘤有没有侵犯肠系膜上动脉、腹腔干、门静脉、肠系膜上静脉，侵犯程度是小于180度、大于180度还是血管闭塞。这些判断全部依赖三维空间关系——肿瘤和血管在三维空间里贴得有多近、包绕了多少。

这种问题，你让一个只处理单张切片的模型去回答，它连"肿瘤和血管在不在同一层"都搞不清楚，更别说判断包绕角度了。这就是为什么DeepTumorVQA2026强调3D——它要求模型必须处理体数据（volume），而不是切片序列的简单堆叠。

2.3 分层式设计：把"一口吃成胖子"拆成台阶

那问题来了，3D CT数据这么大，直接让模型端到端地"看图说话"生成完整报告，现实吗？坦白说，目前不现实。一个腹部增强CT的体数据，原始尺寸可能是512×512×400，直接塞进网络，显存先爆了。就算用patch切分，模型也很难在一次前向传播里同时完成"定位病灶—描述特征—判断分期—生成报告"这么多事。

DeepTumorVQA2026的**分层式（hierarchical）**设计，就是冲着这个来的。它把整个VQA任务拆成若干层级，从低到高大致是：

这个分层的好处是，每一层都可以单独评测。你的模型在L1上刷到95%准确率，不代表它在L4上能及格。反过来，如果L1都做不好，那L4基本没戏。这种设计让研究者能精确定位自己的模型卡在哪一层，而不是笼统地看一个总分。

提示：分层式基准最大的价值不是排名，而是诊断你的模型。我见过太多论文只报一个总体准确率，结果审稿人一问"你的模型在空间关系推理上表现如何"就答不上来。分层评测逼着你把每个能力维度都测清楚。

3. 影像报告自动化：从VQA答案到结构化报告还差几步

3.1 VQA答对了，报告就自动生成好了吗

很多人有个误解，觉得VQA做得好，报告自动化就是水到渠成的事。实际上这两者之间隔着一条不小的鸿沟。

VQA是一问一答，每个问题相对独立。而影像报告是结构化、有逻辑、有主次的文档。一份规范的腹部CT报告，通常包括：检查技术、对比剂使用、各脏器描述（肝脏、胆囊、胰腺、脾脏、双肾、肾上腺、腹膜后、血管、骨骼等）、以及最后的印象（impression）。印象部分还要按临床重要性排序，把最关键的发现放最前面。

你让模型把一堆VQA答案拼起来，得到的往往是一盘散沙——"肝脏有病灶""病灶是低密度""病灶大小3厘米""胰腺正常""脾脏正常"……这些句子之间没有逻辑连接，也没有主次之分。更麻烦的是，报告里有些内容是VQA覆盖不到的，比如"建议进一步行MRI增强扫描"这种临床建议，它依赖的是对整体病情的判断，不是单个问题的答案。

3.2 报告生成层的三个硬骨头

在DeepTumorVQA2026的报告层（L5），我认为有三个硬骨头必须啃下来。

第一是阴性发现的合理省略。一份报告不可能把每个正常脏器都写一遍"未见异常"，那样报告会长得没法看。但哪些阴性发现该写、哪些可以省略，是有临床惯例的。比如"腹膜后未见肿大淋巴结"通常会写，但"双侧肾上腺未见明显异常"在很多报告里会省略。模型要学会这种临床惯例，而不是机械地罗列。

第二是测量值的准确引用。报告里经常出现"病灶大小约3.2×2.8cm"这样的测量值。这些数值必须和模型在L1/L2层检测到的病灶边界一致，不能前后矛盾。我见过一些demo，前面说病灶3厘米，后面报告里写成5厘米，这种低级错误在临床上是不可接受的。

第三是印象部分的归纳。印象不是描述的简单重复，而是提炼。比如描述部分写了"肝右叶见一类圆形低密度灶，边界清晰，动脉期边缘结节状强化，门脉期向中心填充"，印象部分应该归纳为"肝右叶血管瘤"。这个归纳过程需要模型具备医学知识，而不只是图像理解能力。

3.3 一个可落地的报告生成pipeline

基于分层式基准的思路，我梳理一个目前比较务实的报告自动化pipeline，供参考：

1. 病灶检测与分割：用3D分割网络（如nnU-Net这类在医学分割上验证过的架构）在体数据上勾出所有病灶，输出每个病灶的3D边界框和mask。
2. 多时相配准与特征提取：把平扫、动脉期、门脉期、延迟期配准到同一空间，对每个病灶提取跨时相的强化特征。
3. 分层VQA推理：按L1到L4的顺序，对每个病灶依次回答存在性、属性、关系、推理类问题，形成结构化的病灶档案。
4. 报告模板填充：把病灶档案映射到报告模板的对应字段，阴性发现按临床惯例决定是否输出。
5. 印象归纳：用规则+语言模型结合的方式，把描述性内容归纳成印象条目，并按重要性排序。

这个pipeline里，第3步是DeepTumorVQA2026重点评测的对象，第4、5步则更偏工程实现。我个人的经验是，第4步的模板设计比想象中重要——模板设计得好，模型输出的容错空间就大；模板设计得死板，模型稍微跑偏就生成一堆废话。

4. 3D CT喂给模型之前，数据预处理这关怎么过

4.1 层厚不一致：最容易被忽视的坑

做3D CT的VQA，你拿到的数据大概率是层厚不一致的。有的医院扫5mm层厚，有的扫1mm薄层，有的平扫5mm、增强1mm。如果你不做重采样直接堆成体数据，那这个体数据在Z轴上的物理尺度就是乱的——同样一个病灶，在5mm层厚的数据里占10层，在1mm层厚的数据里占50层，模型学到的"大小"概念完全是错的。

我的做法是统一重采样到各向同性分辨率，比如1×1×1mm或1.5×1.5×1.5mm。具体选哪个，看你的显存和任务精度要求。1mm各向同性对病灶细节保留最好，但体数据会很大；1.5mm是个折中，对大多数腹部病灶够用。重采样用三线性插值就行，别用最近邻，否则会出现阶梯状伪影。

4.2 窗宽窗位：腹部CT的"对比度旋钮"

CT值的范围是-1000到3000HU左右，但腹部软组织的有用信息集中在-100到200HU这个窄区间。如果你直接把原始HU值喂给网络，软组织之间的微小差异会被淹没。所以必须做窗宽窗位调整。

腹部常用的窗是：软组织窗（窗宽400，窗位40）、肝窗（窗宽150，窗位60）、血管窗（窗宽700，窗位100）。我的建议是多窗融合——把同一份数据用2到3个窗分别截断归一化，作为多通道输入。这样模型既能看清软组织对比，又能看清血管和骨骼。实测下来，多窗输入比单窗在病灶检测上的召回率能高几个百分点。

4.3 各向异性与伪影：增强扫描的额外麻烦

增强CT还有个特殊问题：不同时相之间患者呼吸状态不一样，导致同一病灶在不同时相的位置有偏移。如果你要做跨时相的特征提取，必须先做刚性或仿射配准。我一般以门脉期为参考，把其他时相配准过去。配准工具用SimpleITK或者ANTs都行，腹部因为呼吸运动大，建议用仿射配准而不是纯刚性。

另外，金属植入物（比如脊柱内固定）会产生金属伪影，在体数据里表现为放射状条纹。这些伪影会干扰模型判断，有条件的话在预处理阶段做个伪影检测和标记，让模型知道"这块区域的信号不可信"。

注意：预处理阶段做的每一步（重采样、窗变换、配准）都要记录参数并保持推理时一致。我见过太多模型在训练集上表现好，一换测试集就崩，最后发现是预处理参数没对齐。这个坑踩一次就够了。

5. 分层式VQA的评测指标：别只看准确率

5.1 为什么总体准确率会骗人

假设一个基准有1000道题，其中700道是L1存在性判断，200道是L2属性，80道是L3关系，20道是L4推理。一个模型只要把L1全做对，L2蒙对一半，L3、L4全错，总体准确率也有70%+。这个数字看着不错，但实际上这个模型在真正有价值的推理层上完全是废的。

所以DeepTumorVQA2026这类分层基准，必须分层报告指标。我建议至少报告以下几组：

• 分层准确率：L1到L5每层的单独准确率，这是最基本的。
• 分层加权F1：对于存在性判断这种正负样本不均衡的任务，准确率会虚高，F1更真实。
• 跨层一致性：模型在L1说"有病灶"，在L2却描述不出病灶属性，这种自相矛盾要扣分。
• 报告层BLEU/ROUGE + 临床事实一致性：报告生成不能只看文本相似度，还要看生成的医学事实和影像是否一致。

5.2 临床事实一致性：报告评测的关键

报告层的评测是最难的。你用BLEU、ROUGE这些NLP指标去评，会发现一个奇怪的现象：模型生成的报告和参考报告用词稍有不同，BLEU就掉得很厉害，但临床上两个报告其实说的是同一件事。反过来，模型抄了一堆套话，BLEU可能还不低，但临床事实全是错的。

我的做法是引入**临床事实一致性（clinical fact consistency）**评测：把报告拆解成一组临床事实三元组（病灶位置、属性、关系），然后比对生成报告和参考报告在这些事实上的重合度。这个指标比纯文本相似度靠谱得多。具体实现可以用规则抽取+医学NER结合的方式，把报告里的关键事实结构化出来再比对。

5.3 一个我常用的评测脚本骨架

# 分层评测的核心逻辑示意 def hierarchical_eval(model, dataset): results = {f"L{i}": {"correct": 0, "total": 0} for i in range(1, 6)} consistency_violations = 0 for sample in dataset: volume = preprocess(sample["ct"]) # 重采样+多窗+配准 preds = model.predict(volume, sample["questions"]) for q, pred in zip(sample["questions"], preds): level = q["level"] results[f"L{level}"]["total"] += 1 if pred == q["answer"]: results[f"L{level}"]["correct"] += 1 # 跨层一致性检查 if not check_cross_level_consistency(preds): consistency_violations += 1 for level, r in results.items(): acc = r["correct"] / max(r["total"], 1) print(f"{level} accuracy: {acc:.4f} ({r['correct']}/{r['total']})") print(f"consistency violations: {consistency_violations}")

这个骨架很粗糙，但思路是清楚的：分层统计 + 一致性检查。实际用的时候，你还要加上置信区间、显著性检验这些统计手段，否则小样本上的差异说明不了问题。

6. 实操中那些文档不会告诉你的坑

6.1 类别极度不均衡：正常病例太多怎么办

腹部CT里，正常或接近正常的病例占大多数。如果你直接从临床数据里采样，会发现"无病灶"的样本远多于"有病灶"的样本。模型学到最后，倾向于对所有存在性问题都回答"没有"，因为这样总体准确率最高。

我的处理办法是分层采样 + 难例挖掘。训练时保证每个batch里有足够比例的正样本；训练到后期，把模型反复答错的难例挑出来重点训练。另外，评测集也要控制正负比例，不能全是正常病例，否则评测结果没有区分度。

6.2 报告里的"套话"陷阱

很多医院的报告有大量模板化套话，比如"肝脏大小形态正常，实质密度均匀，未见异常密度影"。如果训练数据里这种套话占主导，模型会学会"生成套话"这个捷径——不管影像什么样，先甩一段套话上去，BLEU还不低。但这对临床毫无价值。

破解办法是在训练时就对套话做降权，或者用临床事实一致性指标来评测，让套话拿不到高分。我在实际项目里的做法是，把报告里的阴性描述和阳性描述分开统计，重点看模型在阳性描述上的表现。

6.3 三维模型的显存焦虑：patch策略怎么选

3D网络吃显存是出了名的。一个512×512×400的体数据，就算降到1.5mm各向同性，也有约340×340×270。直接塞进3D U-Net，batch size只能设1，训练慢得让人崩溃。

我的经验是patch-based训练 + 全卷积推理。训练时随机裁patch，比如128×128×64，batch size能上到4到8；推理时用全卷积滑窗，把整个体数据过一遍。patch的尺寸选择有讲究：太小了看不到病灶全貌，太大了显存扛不住。对腹部病灶，128×128×64是个比较平衡的选择。另外，patch采样要保证正样本patch的比例，不能纯随机裁，否则大部分patch都是背景。

6.4 多时相数据缺失：不是每个病例都有四期

现实数据里，不是每个病例都有完整的平扫+动脉期+门脉期+延迟期。有的只有平扫+门脉期，有的只有动脉期。你的模型如果硬性要求四期输入，那大量病例就用不了。

我的做法是时相mask + 自适应融合。给每个时相一个可学习的权重，缺失的时相权重置零。这样模型能根据实际可用的时相动态调整。实测下来，这种设计比"缺时相就丢弃病例"能多用30%以上的数据。

7. 从基准到落地：这条路的现实距离

7.1 基准刷分和临床可用是两回事

我得泼一盆冷水：在DeepTumorVQA2026上刷到高分，不等于模型能上临床。基准的题目是有限的、经过筛选的，而临床上的情况千变万化。一个在基准上L4准确率80%的模型，到了真实临床环境，遇到罕见病、遇到图像质量差的病例，表现可能断崖式下跌。

所以我的建议是，把基准当作研发阶段的标尺，而不是临床准入的通行证。真正要上临床，还需要在真实工作流里做前瞻性验证，看它能不能帮医生省时间、能不能减少漏诊，而不是只看它在题目集上的分数。

7.2 报告自动化的合理定位：辅助而非替代

目前阶段，影像报告自动化最合理的定位是辅助。具体来说，它可以做这几件事：自动生成报告初稿，医生在此基础上修改；自动标记可疑病灶，提醒医生重点看；自动提取测量值，减少医生手工测量的时间。但它不应该、也不能替代医生的最终判断。

我在和影像科医生交流时，他们最反感的是"AI直接出报告让医生签字"这种模式。医生要的是可控的辅助——AI给建议，医生做决定。所以报告自动化系统的交互设计，比模型本身的精度还重要。你得让医生能方便地修改、能追溯AI的判断依据、能一键采纳或否决。

7.3 数据隐私与合规：绕不开的前提

做医学影像AI，数据隐私是绕不开的。患者的CT数据、报告文本，都属于敏感信息。在实际项目中，必须做去标识化处理——把DICOM头里的患者姓名、ID、出生日期等全部清除或替换，报告文本里的姓名、住院号也要脱敏。这一步做不干净，后面全是雷。

另外，不同医院的数据不能随意跨机构流动。如果要做多中心训练，得用联邦学习这类技术，让数据不出院。这些工程上的约束，会直接影响你的模型架构和训练策略，必须在项目一开始就考虑进去，而不是等模型训好了再补。

8. 写在最后：我踩过的几个坑和一点体会

做3D医学VQA这几年，有几个坑我印象特别深，分享出来给后来人省点时间。

第一个坑是过度迷信端到端。刚开始我总想着用一个模型从原始CT直接生成报告，结果折腾了大半年，效果还不如"分割+VQA+模板"的分步方案。后来想明白了，医学任务的可解释性太重要了，分步方案每一步都能查、能调，端到端出了问题你根本不知道错在哪。

第二个坑是忽视预处理的一致性。训练时用了一套窗宽窗位，推理时忘了同步，结果模型表现直接腰斩。这个错误低级但极其常见，我现在都会在代码里把预处理参数写成配置文件，训练和推理强制读同一份。

第三个坑是评测集泄漏。有一次我不小心把训练集里的病例混进了评测集，指标虚高得离谱，差点闹笑话。后来我养成了习惯，评测集单独存放，用哈希值校验，确保和训练集零重叠。

最后说一点体会：DeepTumorVQA2026这类基准的出现，对行业是好事。它把"3D腹部CT的VQA和报告自动化"这个方向的标准立起来了，大家有了共同的起跑线。但基准终究是工具，真正有价值的还是解决临床实际问题。我见过太多论文在基准上刷到SOTA，但医生用起来直摇头。做这个方向，多去影像科坐坐，看看医生到底怎么读片、怎么写报告、最烦什么，比闷头调模型有用得多。