1. 项目背景：细胞生物学为什么成了LLM理解的试金石
1.1 这个项目到底在问什么
先别被"NIPS"这个前缀唬住，CELLVERSE的核心就是一个问题：当一个大语言模型给你背出一段关于"细胞凋亡"的完整定义，甚至能引用经典综述里的原话，它到底是"查到了"还是"想通了"？
做AI评估的人都知道，这两件事的区别在绝大多数现有基准里根本看不出来。选择题、填空题、名词解释，本质上都在考"检索"。模型只要在训练语料里见过相似的句子，就能给出接近标准答案的输出。但细胞生物学的真实工作场景不是这样的。给研究者一个突变体的表型信息，问哪条通路最可能被抑制；给一个新发现的蛋白互作网络，推断它在细胞周期哪个检查点起作用——这些任务要求的是把分散的知识点组合起来，在具体情境下做推演。
CELLVERSE这个项目，就是针对这个缺口设计的一套评测体系。它不只问"模型知道什么是中心法则"，还会问"DNA损伤检查点激活后，如果同时抑制了p53的功能，细胞周期会怎么变化"。你看，这里涉及的知识点不复杂，但需要把几件事串在一起想。模型答得对，才算是"理解"；答不对，那它前面的知识问答表现再好，也只是背稿子。
1.2 细胞生物学的知识结构，恰好戳中LLM评测的软肋
我做生物信息方向好几年，最大的感受是：细胞生物学这门学科，知识是分层的，而层与层之间的关联才是真正难懂的地方。
拿一条经典的MAPK信号通路来说。配体结合受体，激活膜上的衔接蛋白，往下一层是Ras和Raf的活化，再往下进入MEK和ERK的磷酸化级联，最终转录因子入核，改变一组基因的表达。这里面至少跨了"细胞外→细胞膜→细胞质→细胞核"四个空间层级，以及"转录调控→蛋白修饰→代谢变化"三个功能层级。一个真正理解这条通路的人，能顺着链条解释为什么某个激酶抑制剂能在某一步阻断信号，也能反过来从表型变化猜测哪个节点出了异常。
这种"多跳推理"恰恰是LLM评估最薄弱的地方。传统的生物医学QA基准，比如一些用药问答或基因功能问答，题目大多是单轮的、单知识点的。问"他莫昔芬的作用靶点是什么"，回答"雌激素受体"。这是照本宣科。而CELLVERSE想做的是，把知识放进真实的推演场景里，逼着模型建立机制性的因果链条。说实话，这类评测数据很难造，但它才是科研场景里真正有价值的测试。
1.3 现有的生物医学评测，缺的不是题量而是层次
我接触过不少面向生物医学的大模型评估工作，大部分基准的构建思路是一致的：找个公开题库，抽几万道选择题，拿去让模型做，然后算准确率。这种做法的隐患是明显的。
第一，题库本身就在模型的训练语料里。很多公开的生物医学题库、教材课后题、期刊选择题，网络上有大量重复传播的版本，模型很可能在预训练阶段已经见过原题。就算没见过完全一样的，见过描述相似、答案相近的变体也不是什么稀奇事。第二，选择题本身暗示了答案范围。四个选项摆在那里，模型即使不确定正确概念，也能通过排除法、选项间语义距离猜对不少。第三，也是最根本的——准确率是个很粗糙的指标。模型答对了一道题，你并不知道它是通过回忆原文答对的，还是真的推演出来的。你需要更细的分析维度才能回答"理解"这个问题。
CELLVERSE这种项目存在的意义，不是发明一种新的模型，也不是刷高某个分数，而是给"理解"这个词下了操作定义。它把能力拆成若干个维度，分别用合适的数据去测，再根据各维度的表现给出结构化的诊断，而不只是一个个冷冰冰的分数。对于任何一个认真做LLM在垂直领域落地评估的人来说，这个方法论的参考价值比分数本身重要得多。
2. 设计思路拆解：从"记忆"到"理解"的四层梯度
2.1 第一层：事实性知识——模型知不知道"是什么"
CELLVERSE把"理解"拆成了四层梯度，第一层对应最基础的事实性知识。比如"线粒体的主要功能是什么""组蛋白修饰由哪些酶催化"这类问题。这一层当然要做，因为它是地基——一个连基本概念都经常说错的大模型，谈不上理解更深的机制。
但这一层的设计有个细节值得注意：题目不能是教科书里那种一问一答的标准形态。CELLVERSE的做法是控制答案来源的离散度，尽量选择那些在不同教材里表述一致度较高的知识点，避免让模型猜"这个教材这么写，那个教材那么写"的争议性内容。另外，会在题目中加一些对抗性改写，把经典概念放进一个不那么常见的句式里，降低模型靠触发性词汇直接命中答案的可能性。
这一层对应到实际操作上，是筛选和维护一个"知识锚点集"。它不只是用来跑分，更重要的是作为后续高难度层级的参照。如果一个模型在事实性知识层得分很高，却在机制推演层崩掉了，那就有把握说，它的短板在于推理，而不是知识覆盖。这种诊断思路，比一个笼统的平均分要可操作得多。
2.2 第二层：概念关联——模型能不能把知识织成网
第二层考察的是"概念的组织方式"。生物知识不是一个个孤立词条的堆叠，而是一张密集关联的网：一个分子参与多条通路，一个细胞器与多个生理过程相关，一个表型可能由多种原因触发。考察这一层的时候，CELLVERSE的题目就不是单项选择了，而是让模型处理"找出与某概念具有同类关系/因果关系/上下游关系的一组概念"这类任务。
我举个例子。题目描述一种现象：抑制蛋白酶体活性后，细胞出现大量未折叠蛋白聚集，并伴随内质网应激。然后要求模型判断，这最可能影响哪一组下游通路。要答对这道题，模型必须同时激活"泛素-蛋白酶体系统""分子伴侣""内质网相关的降解机制""未折叠蛋白反应"这几个概念节点，而且要清楚它们之间是先后关系还是反馈关系。如果一个模型只记得"蛋白酶体是降解蛋白的"，却不知道它和未折叠蛋白反应之间的联系，它要么答得含糊，要么会明显跑偏。
设计这种题的工作量比出单选题大得多。每一道题都需要先人工画出概念之间的关联图，再围绕关联图设置干扰项。干扰项不是随便编的，它们往往是同一领域里真实存在、但关联方向不同或层级不对的概念。比如把"内质网应激"的下游效应替换成"线粒体自噬"——这个选项本身描述的是一个真实过程，但对这道题来说是错的关联。这样做能有效防止模型靠"看起来相关"来混分。
2.3 第三层：机制推演——模型能不能完成因果链条
第三层是CELLVERSE的核心，也是最难出题的一层：机制推演。这层要求模型面对一个具体的生物学场景，依据已知的机制规则，推出结果、判断方向、补全缺失环节。
比如这样一道题：某种小分子药物能不可逆地抑制DNA拓扑异构酶I，但不影响拓扑异构酶II。在S期的细胞里，这个药物最直接的效应是什么？标准答案是：DNA复制叉前端的超螺旋无法解除，复制叉停滞，随后触发S期检查点。要答对这个推理链，模型需要依次理解：拓扑异构酶I在复制中的作用、抑制后发生的分子事件、检查点激活的机制、以及为什么影响主要集中在S期而不是G1期。任何一环缺了，回答就会出现典型的"机械记忆式错误"——比如知道拓扑异构酶是解旋的，但对"不可逆抑制"和"只抑制I型"这两个关键条件的含义把握不住，最终推出一个笼统甚至错误的结果。
这一层的评分也不能只看结论对错。CELLVERSE采用的是"逐步评分"策略：要求模型输出清晰的推演步骤，按关键步骤的合理性和逻辑连贯性分别打分。即使最终结论错了，如果中间某个环节推断正确，也能拿到对应的部分分。这样做的好处是，它能区分"完全不懂"和"推理链中断"两种不同的问题模式，而这两种模式对应的后续改进方向是完全不一样的。
2.4 第四层：系统建模——模型能不能应对多因素与边界条件
最上面一层是系统级建模。这一层的题目标志性特点是：没有单一正确答案，但存在明显更合理与明显不合理的答案区间；需要处理多个因素的同时作用；经常涉及剂量、时间、空间等边界条件。
举个例子：某信号通路被持续激活时促进细胞增殖，但过度激活会诱导衰老。现在有一个突变导致该通路的活性处于"高于正常但未达衰老阈值"的状态，同时另一个突变削弱了负反馈调控。让模型预测药物干预的可能后果。这道题没有一个固定答案，但模型需要理解"剂量/活性水平"是个连续变量、负反馈的削弱会提高系统到达阈值的速度、以及不同细胞背景可能导致不同结局。能答好这类题的模型，才是真正把细胞当成了一个动态系统来建模，而不仅仅是一个概念集合。
这一层的数据量不用太多，CELLVERSE在每个细胞生物学子领域设置大概十几道高质量的系统级题，就足以拉开不同模型的差距。通用模型通常在第三层和第四层之间断层：事实、关联、单链条推理都还行，一到多因素交互、非线性效应、边界条件，就开始暴露出"局部合理、全局混乱"的问题。这个现象的复现率很高，我在多个模型上都观察到了。
3. 实操流程：搭建CELLVERSE评测集的完整记录
3.1 数据选源：教科书、综述与知识图谱怎么搭配
CELLVERSE的数据选源走了三条线，各司其职。
第一条线是经典教科书章节。分子细胞生物学、细胞生物学这类通识教材，胜在概念体系完整、表述标准，是做"事实性知识层"和"概念关联层"题目的主要素材。但教材也有个问题：知识更新速度跟不上研究前沿，所以很多机制细节还需要从综述里补。
第二条线是近年发表的高水平综述。综述里往往有现成的机制流程图和阶段划分，比如细胞焦亡的经典通路、线粒体自噬的受体介导模型等。操作时我会刻意选用那些已经被领域内广泛接受、写进主流综述的模型，避开那些仍在一线激烈争议的新机制。原因很现实：评测集需要一个明确答案，如果题目本身存在争议，模型的回答就无从评判对错。这当然是一个局限，但在第一版评测集里，"确定性"优先级是最高的。
第三条线是公开的分子互作数据库和通路数据库。这些库里有标准化的上下游关系、调控方向、复合物成员等信息。它们的主要用途不是直接生成题目，而是用来验证"概念关联层"里各条边的合理性。人工设计题目的过程中，经常会凭印象把两个概念之间的关系记错，数据库能及时纠偏。比如，写题时想当然认为某激酶直接磷酸化某个下游底物，一查数据库发现中间还隔着一个脚手架蛋白，这种细节要是不核对，题目本身就成了一张错误的地图。
3.2 题目开发与质量控制：双人背靠背标注
题目的初始生成阶段，可以用大模型辅助，但绝对不能直接采信。我的做法是让两个独立的标注者分别基于同一段机制材料设计题目，互相不看对方的产出，之后再放在一起比对和合并。
这个过程有两个关键点。第一，每道题必须有明确的"答案来源"字段，指向教科书页码、综述段落或数据库条目。这样在后续出现争议时，可以回溯到原始材料去核对，而不是凭感觉裁决。第二，每个考点必须标注它所属的能力层级，而且要求层级标注在双人比对时达到较高的一致率。如果两个人对某道题应该算"机制推演"还是"概念关联"都说不清，这道题的表述大概率是模糊的，需要重写。
质量控制环节还有一个容易忽略的步骤：请一位没参与出题的领域专家做终审。不是让他重新核对知识，而是让他站在应试者角度，判断题目是否存在"歧义选项""时间线不清""condition描述不完整"等问题。我记得有一道关于自噬通路的题，初稿没写清楚"使用的是血清饥饿还是药物抑制"，导致模型可能从两个不同方向解题。专家一眼就看出了这个漏洞。这种问题，出题人自己往往察觉不到，因为脑子里已经默认了上下文。
3.3 评测协议：温度、采样与公平对照
评测协议看着琐碎，但它直接决定结果可信度。CELLVERSE在跑模型前，固定了一套统一参数：生成温度设为0.2（低随机性但保留一点多样性），每个问题采样3次，取结果；系统提示词统一设置为"你是一位细胞生物学研究者，请依据现有知识回答以下问题"；所有回答不做长度截断控制，但只要模型输出超过设定上限，该题就算作答失败。
为什么要这样设置？因为真实使用AI工具的科学家不太会把温度调到0去问问题，但又不希望回答因为随机性太大而没法稳定复现。低温度加多次采样，是一个平衡"真实使用"与"可评估性"的折中。另外，所有模型使用完全相同的提示模板，尽量避免因提示词差异造成的公平性问题。这件事说起来简单，做起来特别容易出纰漏——不同模型的接口有时默认带不同的指令格式，有的会自动加"According to the given context..."之类的头，不仔细检查，你以为在测模型，其实在测接口差异。
评测时通常还会设一组对照：一个随机选择的基线模型、一个通用指令微调模型、一个在生物医学语料上做过额外预训练的领域模型。通过对比这三类模型的梯度表现，能判断"额外训练生物数据"到底是真提升了机制的推演能力，还是只是增加了知识面的覆盖。这个对比对评估结果解释非常重要。
3.4 结果分析：不只盯着准确率，要看错误模式
结果分析环节，我最不愿意看到的就是只列一张准确率表格。CELLVERSE的分析思路，是把答案按错误类型做归类，常分四类：
第一类是"知识缺失"错误——模型明确表示不知道，或者给出了脱离生物学的胡言乱语。第二类是"检索偏移"错误——答出的内容属于相关知识，但不是本题问的那个方面，典型如问"凋亡执行阶段"却答了"凋亡启动阶段"的内容。第三类是"推理断裂"错误——前两步是对的，第三步突然跳到无关结论，中间缺少因果衔接。第四类是"巧合正确"——推理每一步都不对，但最终结论蒙对了。
把错误归到这个粒度之后，不同模型之间才真正有可比性。有些模型第一类错误很少，但第三类错误密集，说明参数记忆了大量知识，但没建立起可靠推理链路。有些模型第二类错误多，说明它对概念的边界掌握模糊。这些诊断可以一直细化到具体子领域——是信号转导题最容易触发推理断裂，还是细胞周期题最容易触发检索偏移——这样的结论，才有资格支撑"这个模型是否适合在细胞生物学场景中使用"的判断。
4. 常见问题与避坑手册
4.1 数据泄漏：最隐蔽的一击
做评测最怕的不是模型答不好，而是数据泄漏。所谓泄漏，就是测试题目或与题目高度相似的内容，已经在模型预训练阶段见过。模型根本不需要理解，它只需要回忆。
我在搭建过程中就踩过这个坑。有一次，从某热门教科书章节里直接抽了一些句子改写成的题目，测试结果好得反常。后来仔细排查，发现那本教材的网络版本流传极广，多个预训练语料里都收录过它。表面上题目是我"改写"的，但核心句式和关键术语根本没变，模型只要在训练时见过原文，就能轻松配对。
规避办法有几条，CELLVERSE里做了组合拳：一是优先选择那些版权保护较强、没有大规模进入爬虫语料库的教材；二是对每一道题目做"污染检测"，直接用题目文本在模型输出端的向量空间里跑相似检索，看它和哪些公开文本距离太近；三是设计一些"时间切分"策略，凡是近年才被确认的机制，优先用来测试模型的泛化能力，因为这类内容大概率不在旧模型的训练语料里。没有一套方案能彻底防泄漏，但把这几层冗余检测都过一遍，风险能压在一个可以接受的范围内。
4.2 答对不等于理解：三个必查项
即便模型答对了，也别急着下"它理解"的结论。我总结了三个必查项。
第一，换一种表述方式，看它还能不能答对。原题说"PD-1与其配体结合后抑制T细胞活化"，你把它改成"某肿瘤细胞高表达一种能结合T细胞表面PD-1的蛋白，推断该蛋白对T细胞杀伤肿瘤的影响"，模型如果只能按原样复读，改个说法就糊涂，那说明它记住的只是句子模式。
第二，给出相矛盾的已知条件，看它会不会意识到冲突。一个能理解机制的系统，在遇到"经典通路A被阻断，但下游效应B仍然出现"的矛盾设定时，应该主动指出这不合常理，并尝试提出替代解释或补充条件。如果模型顺着题目把矛盾的设定硬圆下来，那它在做的只是"顺承式生成"，不是推理。
第三，要求它把解决过程反向输出。让模型从结果往前倒推原因、或者把同一机制翻译成更通俗的类比。真正理解了某个机制的人，具备这种"可迁移表达"的能力。模型要是只能给出它在语料里见过的那些句子，反向一绕就露出马脚了。
4.3 开放题评分：人工既费钱又难一致，怎么用模型评审
CELLVERSE的开放性机制题占了不少比重，这类题无法用自动匹配标准答案的方式判对错。训练一个专门的评分模型，或者让通用大模型来当评委，是常见的做法，但这里面的坑很深。
我先说结论：完全不建议让一个通用模型直接给另一个模型的生物答案打总分。它经常犯两个毛病，一是偏好长答案——写得多就给高分，哪怕一些内容离题；二是倾向语气自信的回答——哪怕逻辑经不起推敲，只要表述笃定，评审就会放过。
我们的做法是把评审拆成更细的小任务，每个小任务只问一个具体问题：答案是否提到某个必需分子？答案是否指出某个步骤的先后关系？答案是否出现明确的知识性错误？这样评审模型就不需要做全局价值判断，它只做规则匹配和事实核验，误判率会低很多。然后再由人工专家做随机抽样的final review，用抽检结果校准模型评审的标准。这套流程并不完美，但在没有更优解的现状下，它足够稳定地支撑评测结论。
4.4 搭建评测集时最常见的三个返工原因
最后记录一下这个项目里最常见的三个返工原因，给准备做类似工作的人提个醒。
第一，题目和答案不在同一粒度。题面问的是"细胞在某个时期的整体变化"，答案却只写了某个单分子的行为，这种粒度错配在初稿里频繁出现。后来定了一条硬规则：题目主语的粒度必须决定答案的粒度，问通路就不答单个蛋白，问蛋白就不扯全部通路。
第二，干扰项质量不合格。最初写选择题干扰项时，为了凑选项随便从别的章节拉来几个专业名词，导致干扰项明显不相关，模型一眼就能排除。后来规定每个干扰项必须是与正确机制相关但方向不对、层级不对或条件不对的内容。
第三，缺少难度分布的显式控制。只要有人工出题，就难免偏向某一档难度。查过一轮后发现题目大半集中在中低档，高端机制推演题太少。后来给每个章节设了难度配额：事实性30%、概念关联25%、机制推演35%、系统建模10%左右，再把配额写进标注规范，返工压力小了很多。
5. 从发言角度说：这份评测带给个人使用的启示
CELLVERSE做完，回到日常使用AI做生物医学阅读和设计实验的过程中，我最大的变化是：不再把一个模型在闲聊里给出的答案当成真知灼见。我会下意识做一个快速的心智校准——这个答案是来自它的知识储备，还是来自它的推理过程？方法很简单：讲完一段机制，紧接着追问一句"那如果这个环节突变，结果会怎样"。如果模型能自然而然地基于上文的机制往下推，而不是重复更general的原则，它大概率是在同一个知识框架内工作。如果它开始顾左右而言他，或复用刚才的话术，那就意味着，你刚才听到的其实是语言模型在遣词造句，而不是在思考生物学。
这个评测项目另一个值得持续扩展的方向，是把同样的框架迁移到别的垂直学科，比如遗传学、神经科学、免疫学。这些学科的核心知识结构跟细胞生物学很像，都有明确的分层、丰富的机制交互、突出的多因素非线性特征。如果未来能发展出一套跨学科的"理解力诊断协议"，那对科学领域里使用AI工具的审慎态度，会有一个更通用的方法基础。
最后说一句个人体会：做这种评测项目，最耗时间的地方不是跑模型，而是出题目。一道好的机制推演题，背后是对领域知识的反复确认、对选项的精心布局、对评分标准的反复校准。有时候为了一道题要花掉半天时间。但恰恰是这个过程，让我越来越确认一个判断：大模型是否理解细胞生物学，答案不是简单的"能"或"不能"，而是"它处在哪个层次"。有的模型知识覆盖广，却经不起追问；有的模型逻辑链条清晰，但概念边界模糊。CELLVERSE的价值不是下一个最终判决，而是给出一个可操作的框架，让研究者和使用者都能精准地看到模型的边界在哪、短板在哪、以及往哪个方向去要求它、使用它，才最不踩坑。
这些经验，比起一个简单的"模型很聪明"或"模型不行"的结论，实用得多。
