Extracting ontology-compliant knowledge from scientific text describing irradiated materials using large language models
Marco Luca Sbodio, Marcos Martínez Galindo, Vanessa Lopez, Blanca Biel, Pablo Canca, Pedro Delgado, Jesús I. Mendieta-Moreno, Raphael Tack, et al.
cs.AI
Quick verdict
Introduces eolas + first irradiated-materials KG benchmark; rigorous 168-config study, but 5-article ground truth and unmeasured speed claims limit scope.
Summary
本文提出了 eolas，这是一个模块化、领域无关的工作流，利用大语言模型（LLMs）将科学文本转换为符合给定 OWL 本体的知识图谱，并在聚变反应堆辐照材料的缺陷能量学中进行了演示。作者贡献了一个领域本体（14 个类，13 个对象属性，25 个数据属性）以及该领域首个本体兼容知识图谱（KG）构建的基准测试：来自 5 篇文章的 126 个文本段落（其中 111 个用于评估），其真实图谱通过 LLMs 半自动生成，然后由领域专家进行整理。六个开源权重 LLM 在 168 种配置中进行了测试，这些配置改变了指令细节、本体序列化（TTL、BAML、言语化）、实例字典、少样本示例和整合启发式算法，并通过与专家整理图谱的归一化图编辑距离进行评估。少样本提示词（few-shot prompting）显著优于零样本（在 NGED* = 0.2 时，最佳成功率分别为 67.6% 和 36.0%；在 0.1 时分别为 45.9% 和 15.3%）；BAML 序列化有助于零样本，详细指令有助于少样本 TTL，而实例字典的作用有限。采用 Holm 校正事后检验的非参数统计支持了上述主要结论。局限性包括：仅包含 5 篇文章的小型真实图谱部分由同类系统生成，且未报告标注者间一致性；每种配置仅运行一次；人类与工作流的速度对比未量化；以及文档级图谱合并留作未来工作。
Review complete
Assessment at a glance
4
risk flags identified
● high 0
● medium 3
● low 1
5 strengths · 0 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 未经过微调的大语言模型（LLMs）能够从科学文本中生成符合语法和语义的知识图谱，少样本上下文学习显著优于零样本（在 NGED* = 0.2 时，最佳情况分别为 67.6% 和 36.0%）。
- 提示词设计是可以预测的：BAML 本体序列化在零样本设置中表现最佳，详细的指令配合 TTL 在少样本设置中表现最佳，且实例字典在示例之外的附加价值微乎其微。
- 发布的本体及 126 段落的基准测试是该领域首个用于评估辐照材料领域本体兼容知识图谱构建的公开数据集。
- 通过结合带有表格验证 UI 的 eolas 工作流，将每篇文章的提取时间从 30-90 专家分钟缩短到了几分钟。
Strengths
首个用于本体兼容 KG 提取的开放基准测试，针对辐照材料领域
§2.1 发布了一个领域本体和第一个辐照材料 KG 构建基准测试（来自 5 篇文章的 126 个段落，1,314 个真实图谱三元组），可在 github.com/jmendi/eolas_irradiated_materials 获取，并附带了完全记录的构建流程。
大规模系统消融
§2.2/§2.4 系统地消融了指令细节、序列化（TTL/BAML/VERB）、实例字典、少样本示例以及整合启发式算法，在附录 A 的五个 NGED 阈值下对 18,648 个预测 KG 进行了评估（表 2-6）。
符合惯例的统计数据支持指南
诚实且严谨的指标设计
面向领域的工程化
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与主张
本文介绍了一种模块化、领域无关的工作流 **eolas**，它利用大语言模型将科学文献转换为符合给定 OWL 本体的知识图谱（KGs），并在用于聚变反应堆的辐照材料缺陷能量学（IFMIF-DONES 上下文，§1）中进行了演示。论文提出了四项贡献：（1）一个领域本体（14 个类，111 个实例，13 个对象属性，25 个数据属性；§4.1）；（2）该领域首个用于本体兼容 KG 构建的基准测试——来自 5 篇文章的 126 个段落，其中 111 个用于评估，包含 1,314 个真实图谱三元组（§2.1）；（3）一项针对六个开源权重 LLM 的 168 种配置的实验研究（§2.2，表 2-6）；（4）总结出的提示词工程指南（§2.4）。主要数据是在 NGED* = 0.2 时，最佳少样本成功率为 67.6%，而零样本为 36.0%；在 NGED* = 0.1 时分别为 45.9% 和 15.3%。摘要和讨论中以生产效率声明（每篇文章从 30-90 专家分钟缩短到几分钟）作为框架。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 5 strengths & 0 weaknesses, analyzed in detail
- 4 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
What is eolas?
IBM 研究院与西班牙合作者（格拉纳达大学、阿里坎特大学、CSIC、IFMIF-DONES）开发的模块化工作流，利用大语言模型将科学论文转换为符合用户提供的 OWL 本体的知识图谱。它在用于聚变反应堆的辐照材料领域进行了演示，包含一个用于专家验证的表格 UI，并附带一个公开的基准测试。
How well do LLMs perform on the eolas benchmark?
在 168 种提示词配置和六个开源权重的 LLM 中，最佳少样本（few-shot）配置在归一化图编辑距离阈值 0.2 下达到了 67.6% 的段落，最佳零样本（zero-shot）配置为 36.0%。在更严格的 0.1 阈值下，最佳结果分别为 45.9% 和 15.3%。
Which prompting strategy worked best?
当提示词中可以包含 10-15 个精选示例时，详细的指令加上 Turtle (TTL) 本体序列化表现最佳。在没有示例的情况下，具有简单指令的 BAML 序列化最强。添加本体实例字典很少有帮助，且仅对严格阈值下的零样本设置有用。
Is the benchmark dataset public?
是的——本体和 126 段落的基准测试（其中 111 个段落用于评估，以及 14 个少样本示例）在 github.com/jmendi/eolas_irradiated_materials 上是开放获取的。论文本身未明确声明工作流水线源代码的可用性。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 仅审阅了文本提取内容；图表（1、2、4-9）仅能通过其标题和嵌入的统计数据进行评估。
- 流水线源代码发布未明确说明——仅声明了本体和基准数据集为开源。
- 演示 UI URL 和 GitHub 仓库未经过验证（无网络访问权限）。
- GED 编辑操作成本函数和整合启发式参数仅以散文形式描述，未进行形式化定义，妨碍了精确的重新实现。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.