Not What You Meant: Can LLMs Follow a Specified Negation Semantics?
Qiming Bao, Agnieszka Mensfelt, Michael J. Witbrock, Kostas Stathis
cs.AI
Quick verdict
严格的求解器认证基准测试表明，Frontier 下的 LLM 往往无法遵循指定的否定语义；合成范围限制了普遍性。
Summary
论文介绍了 NAF-Bench，这是一种程序化生成器，用于在四种否定语义——SLDNF、well-founded 语义（WFS）以及 credulous 和 skeptical stable-model 推理——下对接地正常逻辑程序进行求解器认证，使用 SWI-Prolog、WFS 求解器和 clingo。具有受控深度、宽度和循环结构的程序在保持认证答案不变的框架和规则顺序下进行言语化，然后在三种条件下呈现给六个 LLM：未指定语义、命名语义控制和命名语义发散实例。两个 Frontier 模型（Claude Sonnet 5，GPT-5.6 Sol）在固定复杂度的主要集合上得分 100%，并在未指定默认阅读上收敛；o4-mini 达到 94.8%，主要通过将 WFS ‘未定义’崩溃为错误而失败（此处为 81%）。开放权重模型（8–32B）保持在 31–74%，并在 54–67% 的组中翻转规则顺序的答案，而 Frontier 模型为 0–15%；在可审计的正确答案中，追踪审计发现与认证的矛盾率为 14–39%。缓解措施——translate-then-solve（高达 95%）、对认证追踪的 LoRA 微调（41→91%）和验证脚手架——部分缩小了差距，但微调不会转移到看不见的框架中。局限性包括完全合成的实例、单一固定复杂度的主要单元以及近似的基于正则表达式的追踪审计。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 2
● low 3
4 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 通过指定一种语义，Claude Sonnet 5 和 GPT-5.6 Sol 解决了固定复杂度基准（100%），而开放权重 8–32B 模型保持在 31–74%，因此遵循指定的否定语义在 Frontier 之下仍未解决。
- 在没有命名语义的情况下，两个 Frontier 模型收敛于一个单一的默认策略——当否定循环承认一个一致的解决方案时进行断言，否则为‘无法确定’——这符合四个认证观点中的任何一个（在所有 120 个项目上达成一致）。
- 难度由分歧单元而非程序大小驱动：OLS 拟合中的单元系数 −0.42 到 −0.63 主导了可忽略的深度/宽度 z-scores（−0.024, −0.006）。
- 差距部分可修复——translate-then-solve 将开放模型提升至 74–95%，对认证追踪的 LoRA 微调达到 91–93%——但微调不会转移到看不见的抽象框架中。
Strengths
四种语义下的求解器认证基准真值
每个实例由 SWI-Prolog、WFS 求解器和 clingo 独立标记；分歧单元由认证的四个标签签名定义，而不是语法，每个结构变体都被重新认证并通过规范密钥去重（算法 1），提供了非常值得信赖的金标准标签。
协议清晰地将默认阅读与指令遵循分开
C0（未指定）引出默认值——两个 Frontier 模型在所有 120 个项目上就一个符合没有认证观点的策略达成一致（表 9–10）；C1 对比 C2 隔离了语义强制步骤，C1→C2 的下降是所述的兴趣量。
Earned-vs-accidental 答案分析暴露了指标博弈
透明的错误核算和可重复性基础设施
Weaknesses
单一固定单元上的 Frontier 天花板
主要准确率中的空洞真理膨胀
开放面板内的有限统计分辨率
近似的、排他性的追踪审计
缓解范围和内部不一致
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
- All 4 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
What is NAF-Bench?
一个包含小型逻辑程序的程序化基准测试，其答案由四种否定语义下的求解器（SWI-Prolog，一种 well-founded 语义求解器，clingo）认证：SLDNF、well-founded 语义以及 credulous/skeptical stable-model 语义。它测试了 LLM 是否应用了提示词中指定的语义，而不是默认的 closed-world 阅读。
How well do LLMs perform on NAF-Bench?
两个 Frontier 模型（Claude Sonnet 5，GPT-5.6 Sol）在固定复杂度的主要集合上得分为 100%；o4-mini 达到了 94.8%，主要是通过将 well-founded 的“未定义”变为“错误”而失败（此处为 81%）。开放权重的 8–32B 模型得分保持在 31–74% 之间，并且在 54–67% 的用例中，它们在规则重排时会改变答案。
What is well-founded 'undefined' and why does it matter?
在三种值的 well-founded 语义下，其支持通过没有接地基础的否定循环的原子既不为真也不为假。模型通常仍然会强制给出一个是/否的答案；在论文的表 5 中，只有 Qwen2.5-coder 在 91% 的此类项目上正确弃权，而 Llama3-8B 在 74% 的时间内给出了明确的答案。
Is code and data available for NAF-Bench?
是的 — 论文链接了一个 GitHub 仓库 (14H034160212/NAFBench)、一个带有 train/validation/test 分割并保留 test gold 的 Hugging Face 数据集，以及一个在服务端针对隐藏标签进行评分的公共排行榜。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 图 1–2 仅能通过内嵌文本描述获取；其可视化布局无法验证。
- 表 9（default-reading grid）在提取时网格部分损坏；子列对齐已通过上下文解读。
- 外部产物（GitHub 仓库、HF 数据集、排行榜）无法从文本中访问；其可用性仅基于作者的声明。
- 文本中未提供 Frontier API 模型快照 ID 或访问日期；仅记录了模型名称。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.