AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Material Structures

[2510.04704] AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials

论文摘要

大语言模型（LLM）在科研领域展现出可观潜力，可支撑从知识检索到物性预测等各类任务。现有的科学基准评测集大多聚焦感知类或知识类任务，很大程度上忽略了建模任务 —— 而建模是所有真实科研工作最基础的起点。对于材料科学而言，构建与调整原子结构是创造性最强、自动化程度最低的环节之一。本文提出 AtomWorld，一套专门评测大模型原子结构修改能力的基准。该基准覆盖四大常用建模类别下的十种基础操作，支持可核验的评估指标。实验结果显示 Claude Opus 4.6 整体表现最优。随着建模复杂度提升，任务成功率显著下降；涉及复杂空间关系的操作成功率尤其低，旋转操作的成功率不足 12%。该结果表明，现阶段大模型更适合作为材料结构建模的辅助协作者，而非完全无监督的自主智能科研代理。除评测之外，AtomWorld 也可作为试验平台，用于研发后续具备结构感知能力的模型，包括强化学习与智能体方案。

论文分析

这个数据集主要是用于材料性质预测的，给一个晶体结构与需要的性质，让LLMs做修改。

传统材料科学 LLM Benchmark，通常考察知识问答、性质预测或者根据描述生成晶体结构。

AtomWorld 研究一个更具体的问题：

给定一个已存在的晶体结构，LLM 能不能理解自然语言指令，并准确地修改其中的原子结构？

核心方法：自动生成“指令—晶体结构”监督数据。

论文主要贡献是一个 Benchmark 和数据生成器。

LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction

[2411.00177] LLM4Mat-基准测试：大型语言模型在材料性质预测方面的性能评估 --- [2411.00177] LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction

论文摘要

大语言模型（LLM）在材料科学领域的应用日益增多。但是，针对基于大模型的材料物性预测任务，相关基准评测与标准化评估工作还很少，这阻碍了该方向的发展。本文提出 LLM4Mat-Bench，是目前规模最大、用于评测大模型晶体材料物性预测能力的基准数据集。LLM4Mat-Bench 总计包含约 190 万个晶体结构，取自 10 个公开材料数据源，覆盖 45 种不同物性。该基准支持多种输入形式：晶体组分、CIF 文件、晶体文本描述；三种输入形式对应的总 token 数量分别为 470 万、6.155 亿、31 亿。我们基于 LLM4Mat-Bench 对不同规模的模型（包括 LLM-Prop、MatBERT）开展微调，同时使用零样本、少样本提示词，评测 Llama、Gemma、Mistral 这类对话大模型的物性预测能力。实验结果凸显了通用大模型在材料科学场景下存在的短板，说明在材料物性预测任务中，我们需要面向任务定制的预测模型，以及经过任务指令微调的大模型。

论文分析

LLM4Mat-Bench 是一个大规模的材料结构—性质预测数据集。

输入一个材料的化学式、CIF 晶体结构或结构文字描述，让模型预测它的带隙、形成能、体模量等性质。

完整数据源清单

MaScQA: investigating materials science knowledge of large language models

MaScQA：探究大型语言模型对材料科学知识的理解† | 数字探索 | 英国皇家化学学会 --- MaScQA: investigating materials science knowledge of large language models† | Digital Discovery | The Royal Society of Chemistry

论文摘要

从材料文献中完成信息抽取与文本理解，对构建完备知识库、加速材料发现至关重要。语言模型已经展现出回答领域专属问题、从知识库检索信息的能力。但目前材料科学领域还没有基准数据集，用来评估这类语言模型对核心概念的理解水平。本文构建了一套数据集，包含 650 道材料领域的高难度试题，题目需要具备本科毕业水平的材料专业学生的知识与能力才能解答。我们按照题目结构以及材料科学子领域对题目进行分类。同时，我们采用零样本、思维链提示方式，评测 LLaMA-2-70B、GPT-3.5 以及 GPT-4 模型解答这些试题的表现。结果显示，GPT-4 的效果最优，准确率约 62%。有意思的是，和普遍认知不同，思维链提示并没有带来明显的准确率提升。为分析模型短板，我们开展错误分析：模型表现不佳的主要原因是概念错误（约 72%），计算错误仅占约 28%。我们还将 GPT-4 和人类水平做对比，发现 GPT-4 优于普通本科生，成绩接近及格线。我们也测试了最优模型（GPT-4）在材料论文表格组分抽取、代码编写任务上的表现：GPT-4 在组分抽取任务上效果较差，但代码编写任务上优于其他所有模型。我们希望本文发布的数据集、分析结果以及相关应用案例，能够推动面向材料科学领域专用大模型、信息抽取方案的后续研究。

论文分析

MaScQA 是一个规模较小、但答案具有明确对错标准的材料科学知识与推理 Benchmark，从印度 GATE 工程考试中收集材料科学与冶金工程试题。

四种题型

作为材料知识 QA，可以。但是存在以下限制：

数据规模较小。 650 题不足以独立训练一个具有广泛材料知识的 LLM，更适合作为保留测试集，或者少量辅助 SFT 样本。

没有完整的专家推理轨迹。 正确答案通常是选项或数值，并非科学家对解题过程逐步标注的推理链。

MSQA: Benchmarking LLMs on Graduate-Level Materials Science Reasoning and Knowledge

[2505.23982] MSQA: Benchmarking LLMs on Graduate-Level Materials Science Reasoning and Knowledge

论文摘要

尽管面向材料科学的大语言模型（LLM）近期取得不少进展，但目前仍缺少能够评估其领域专属知识与复杂推理能力的基准。为填补这一空白，本文提出 MSQA，一套综合性评测基准，包含1757 道研究生难度的材料科学试题，分为两种题型：详细阐述作答、二值判断（对 / 错）。MSQA 的特色在于，它对大模型同时提出两项要求：精准的事实知识、多步推理，覆盖七大材料科学子方向，包括结构 - 性能关系、合成工艺、计算建模等。我们在 10 款前沿大模型上开展实验，发现现有大模型存在明显能力短板。接口调用的闭源大模型最高准确率可达 84.5%，开源大模型最高仅约 60.5%；而领域专用大模型常会因为过拟合与分布偏移，出现明显的性能下滑。MSQA 是首个同时评测大模型事实掌握能力与推理能力的基准，这两项能力对于大模型在高端材料科学研究中的应用至关重要。

论文分析

MSQA 从真实材料科学论文中提取专业问题，并要求模型给出涉及研究方法、材料结构、性能与机制的详细解释。它不仅有二元判断标签，还有较完整的参考答案和原始论文来源。

它最有用的不是那 1,757 个二元答案，而是：

Question + Long-form Scientific Answer + 原始论文来源 + 可判断真假的科学陈述。

样例

{ "question": "What computational methods and parameters were used to model the reaction pathways of pyrrole hydrogenation on ruthenium and molybdenum oxide surfaces?", "answer": "Pyrrole hydrogenation reaction pathways ... were modeled using periodic density functional theory (DFT) implemented in VASP. The spin-polarized GGA-PBE functional ... 400 eV ... CI-NEB ...", "topic": "### 1. Summary of the Purpose of the Paper: ...", "source": "data/diverse_sampled_paper_dataset/diverse_papers_3000/10.1021@acs.jpcc.5b06486.json", "source_section": "2 Computational Methods and Models", "question_type": "computational", "true_false_question": "Was the climbing image nudged elastic band (CI-NEB) method used to identify transition states in the pyrrole hydrogenation pathways modeled on Ru and HₓMoO₃ surfaces?", "true_false_question_answer": "YES" }

其中answer是详细的科学解释，而topic并不是一个简短分类标签，而是一段由 GPT-4o 生成的论文目的总结、研究目标分类以及候选研究问题。

完整数据共 1,757 条。

MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science

[2510.12171] MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science

论文摘要

大语言模型已经展现出较强的科学推理能力，但针对材料科学问题的相关表现仍缺少充分研究。为填补这一空白，本文提出 MatSciBench，一套面向本科难度的综合性评测基准，包含1340 道试题，覆盖材料科学各个核心子学科。MatSciBench 设计了一套结构化、细粒度的分类体系，将材料科学题目划分成6 个一级领域与 31 个二级子领域，同时依据解题所需的推理步数，设置三级难度划分。该基准为 946 道题目配备了详细参考答案，支持过程级错误分析；其中包含315 道带图题目，用于评测多模态推理能力。

我们在 MatSciBench 上评测主流的推理型与非推理型大模型，并针对非推理模型测试三种推理方案：基础思维链提示、工具增强、自我校正。实验结果表明，现有模型在本科难度的材料科学推理任务上依然存在明显短板。DeepSeek-R1 在纯文本题目上取得最高准确率 75.22%，GPT-5 在带图题目上表现最优，准确率 53.02%。分析显示，工具增强能够以节省 token 的方式提升很多非推理模型的效果；而自我校正通常无法带来稳定增益，甚至会把原本正确的答案改错。

我们进一步从难度分级、推理效率、多模态推理、错误模式等角度展开分析，发现当前模型的主要瓶颈在于领域知识缺失、计算错误、题意理解失败，以及难以从科研图表中提取精准信息。总而言之，MatSciBench 提供了清晰的测试平台，用于衡量大模型现存短板，并且为后续材料科学领域的科学推理研究指明方向。

论文分析

从材料科学教材中整理已有的例题和标准答案。

• 题目几乎全部是数值计算和公式推导，具有明确的正确答案。

• 包含大量参考解题过程，可以构建科学推理错误检测任务。

• 包含图像、物理机制和材料工艺问题，比纯文本知识问答更全面。

主要字段如下：

ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition

ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition - ACL Anthology

论文摘要

大语言模型（LLM）在辅助科研方面已经展现出潜力，但由于缺少专门的基准评测集，模型产出高质量研究假设的能力一直没有得到检验。为弥补该空白，本文提出首个大规模基准，用于在一套完备的科学发现子任务上评测大模型：灵感检索、假设构建、假设排序。这里的 “完备” 指：如果能够完美完成这几项子任务，就可以完整完成整体科学发现任务。

我们搭建了一套基于大模型的自动化框架，从 12 个学科的论文中提取关键要素：研究问题、研究背景调研、灵感依据、研究假设，并且经过专家核验，确认该框架提取结果准确。为避免数据污染，本基准只选用 2024 年及之后发表的文献，最大限度减少和大模型预训练数据的重合；随着大模型预训练截断时间不断延后，这套自动化框架还可以持续提取更新的论文，支撑该科学发现基准可规模化、无数据污染地自动更新。评测结果表明，跨学科场景下，大模型在灵感检索这项分布外任务上表现突出，说明模型具备挖掘新颖知识关联的能力。

论文分析

这个论文主要就是针对MOOSE的三个环节的任务进行的测评，有一些数据。

三个任务：

1. Inspiration Retrieval 检索能够启发解决问题的相关文献

2. Hypothesis Composition 将研究背景和启发信息组合为科学假说

3. Hypothesis Ranking 比较候选假说的优劣，选出更合适的方案

论文原始实验从 2024 年及之后发表的 1,386 篇论文出发，覆盖 12 个学科。

当前公开版本经过整理，实际包含：

Matter-of-Fact: A Benchmark for Verifying the Feasibility of Literature-Supported Claims in Materials Science

[2506.04410] 事实主义：验证材料科学领域文献支持性主张可行性的标准 --- [2506.04410] Matter-of-Fact: A Benchmark for Verifying the Feasibility of Literature-Supported Claims in Materials Science

论文摘要

当前辅助科学发现的主流方案，利用语言模型自动生成大量待验证的潜在假设，同时自动生成代码形式的实验来检验这些假设。假设的生成成本相对较低，但自动化实验的成本很高，大规模开展（例如上千组实验）时尤为明显。如果能够基于可行性对假设做筛选，科学发现系统就可以规模化运行，同时提升取得重大发现的概率。本文提出 Matter-of-Fact，一套挑战数据集，用于判断以论断形式表达的研究假设是否具备可行性；我们将可行性评估转化为一个经过时间筛选的论断核验任务，采用回测方式实现。Matter-of-Fact 包含 8400 条从科研论文中提取的论断，覆盖四大前沿高影响力材料科学方向：超导体、半导体、电池、航空航天材料，同时涵盖理论、实验、代码 / 仿真结果对应的定性论断与定量论断。实验表明，包含文献检索增强生成、代码生成能力的强基线模型，在该任务上的表现最高不超过 72%（随机猜测水平为 50%）；而领域专家核验结果显示，几乎所有样本都具备可判定性。这既说明该任务对现有模型存在不小挑战，也预示着该方向的短期进展有机会加速科学发现。

论文分析

每个划分都保持 True / False 标签数量平衡，同时平衡实验、计算、理论和综合研究类型

每个方向抽取 125 篇论文，合计 500 篇。

样例

有claim、正确还是错误、原因

SFBench: The SciFy Scientific Feasibility Benchmark

[2606.29630] SFBench：SciFy 科学可行性基准测试 --- [2606.29630] SFBench: The SciFy Scientific Feasibility Benchmark

论文摘要

本文提出 SFBench，一套用于评估科学论断可行性判定系统的基准数据集。SFBench 包含 197 条材料科学领域的论断，每条都标注了真实可行性得分（五分制）以及对应的判定理由。该数据集和以往数据集相比，存在几处关键区别：1）它定义了一项复杂任务，需要对不同可行性水平的论断开展推理；2）其中的论断并非提取自已发表科研论文，而是全新人工构建，大幅降低大模型在预训练阶段见过这些样本的可能性；3）论断与真实标注结果均由领域专家确定，而非由人工智能生成；4）很多基准采用问答对、选择题或者简短固定答案的形式，而 SFBench 的解释文本完全开放，没有格式限制。本文介绍该基准的设计思路、数据构建流程与评估指标，同时给出基于最新 GPT 模型得到的基线实验结果。

论文分析

论文明确提出了两个评价任务：

1. Feasibility Assessment：判断一个材料科学主张在现有科学知识和技术条件下是否可能实现。

2. Explanation Generation：给出判断原因，指出相关物理约束、技术限制或已有实验证据。

样例

MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification

Nips-workshop

[2610.03056] MOF-VERIFY：一种用于 MOF 假设验证的故障感知型代理工具 --- [2610.03056] MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification

论文摘要

大语言模型正越来越多地作为推理组件，应用于人工智能驱动的材料协同科研助手（Co-Scientists）中，但这套验证流程本身的可靠性尚不明确。金属有机框架（MOF）是一个极具挑战性的测试场景：同一结构可能拥有多种标识编号，合成结果高度依赖实验条件，相关证据分散在各类异构数据源中，部分假设还需要依靠计算手段，而不只是查阅文献。本文推出一套诊断基准，包含四大任务系列：结构匹配、合成条件核验、证据充分性核验、基于机器学习相互作用势（MLIP）的计算核验。T-MOF-1 至 T-MOF-3 在闭卷、支持检索、先知证据三种设置下开展评测，用来定位模型在知识获取、证据搜集、推理环节的故障；T-MOF-4 单独用于评测计算核验能力。基于诊断得到的各类故障模式，我们开发了 MOF-Verify，一套感知故障的智能体调度框架，在给出最终判定之前，针对性解决结构、文献、证据充分性以及计算层面的瓶颈。在多款主干大模型上，MOF-Verify 相比直接推理、基于检索的基线方案，能够显著提升假设验证的效果。基准数据集已开源。

论文分析

作者研究的是：

当一个 AI Scientist 提出一个关于金属有机框架（MOF）的科学假说时，如何通过结构数据库、实验文献、证据充分性分析以及数值计算，判断这个假说是否成立？

作者认为，当前 LLM 验证科学假说时存在四类主要故障：

1. 找错材料：材料名称、化学式、数据库编号之间无法正确对应。

2. 找错实验：无法准确找到论文中真正的合成条件。

3. 证据不足：把部分实验结果误认为足以支持整个假说。

4. 缺少计算：有些科学主张必须通过数值计算验证，不能只靠文献推理。

因此，他们提出了两个核心贡献：

• T-MOF Benchmark：诊断科学假说验证过程中不同环节的失败。

• MOF-VERIFY：根据不同失败类型调用不同工具，形成一个故障感知的验证 Agent。

T-MOF Benchmark

他们把科学假说验证拆成四类任务，每类任务对应一个明确的故障来源。

T-MOF-1 · 材料结构身份验证

给定材料名称、化学式或别名，判断它是否对应正确的晶体结构。

例如：假说声称某个 MOF 对应 CSD 中的某个 Refcode，但这个 Refcode 实际属于另一个 MOF。

评价重点：材料身份是否正确。

T-MOF-2 · 合成条件验证

判断假说描述的实验合成路线，是否与原始论文记载一致。

检查参数包括：

• 温度；

• 时间；

• 溶剂；

• 调节剂；

• 金属源；

• 有机配体。

评价重点：实验方案是否与真实实验记录一致。

T-MOF-3 · 证据充分性验证

给定一个科学主张和原始论文，判断论文是否真的足以支持该主张。

特别关注：

• 条件性结论；

• 有争议的结果；

• 证据不完整；

• 不同实验样品之间的混淆。

评价重点：证据是否足以得出当前结论。

T-MOF-4 · 计算验证

对需要数值计算的科学主张，调用 MLIP 计算工具。

评价重点：模型是否能够正确构造计算任务、执行计算并处理收敛问题。

具体分布：

MOF-VERIFY Agent 架构