Impact Is Not Invalidation: Ask About the Claim, Not the Diff
cs.CL · cs.AI · cs.LG
Quick verdict
基于执行的基准测试：diff 级别的 LLM 判断在断言失效检测上失败；断言级别的提问则成功。逻辑严谨，仅存在微小的内部不一致。
Summary
本文探讨编码智能体的记忆在代码提交后应如何判断哪些已存储的断言被证伪。文中对比了内容锚定、diff 级别的语义等价分类和断言相关预测，并贡献了一个基于执行的基准测试：从 23 个 Python 库中挖掘了 10,369 个断言（在提交 t 时确定性通过的测试函数），其中 184 个已验证的翻转案例在 t+1 时相同断言失败。一个关键构建发现是，CI 门控使得朴素的挖掘方案产生零个正样本，因此翻转案例是通过将父测试文件恢复到子提交中获得的。在包含 604 个断言的留出集（151 个翻转案例）上，严格的语义等价判断在五个价格跨度约 40 倍的模型中，仅达到 0.291-0.329 的准确率（基准率为 0.25），而断言级提问达到 0.705-0.974；信息对照（A5C）显示，向评判者提供断言文本仅使准确率提高约 0.01，而改变提问方式则提高 +0.49/+0.65。pytest-testmon 在 0.415 准确率下达到 0.868 召回率，表明依赖知识无法识别证伪。对照组包括存储库留出集、截止后集、乱序 diff 无效对照、AST 释义和散文翻译（准确率从 0.794 到 0.711）。局限性：仅包含测试函数断言（散文部分缓解），正样本集中在两个存储库中，截止后样本较小（22 个翻转案例），陈旧的 '244 个断言/61 个翻转案例' 数据与 604/151 的表格相矛盾，且缺乏 OpenAI 模型。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 5
● low 0
5 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 无论规模如何，diff 级别的语义等价判断在断言失效上都失败了：在跨越约 40 倍价格范围的五个模型中，准确率为 0.291-0.329，而基准率为 0.25（表 IV, VIII）。
- 驱动准确率的是提问，而非信息：将断言文本提供给行为评判者使准确率提高了 +0.010/+0.016，而改变提问使准确率提高了 +0.49/+0.65（表 IV, A5C 对照组）。
- 覆盖率导出的依赖知识能识别影响但不能识别失效：pytest-testmon 在仅 0.415 准确率下达到 0.868 召回率（表 II）。
- 在受 CI 门控的主线上，朴素翻转挖掘构建在设计上就是空的；将父测试文件恢复到子提交中产生了一个包含 10,369 个断言的基于执行的可行基准测试，其中包含 184 个已验证的翻转。
Strengths
真正基于执行的预言机 (Oracle)
断言是指在提交 t 时 10/10 运行通过的测试函数；翻转是指在 t+1 时相同的断言文本失败（第 III-A 节）。没有人工标注，也没有评判模型；两端都剔除了非确定性结果，剔除率为 0.16%，且 pytest 收集中止被记录为未知而非失败（第 VI 节）。
新颖且具有深远影响的构建洞察
第 III-B 节显示 CI 门控设计使得朴素正样本类为空：挖掘出的 1,005 个通过后失败的未修改断言 yielded 零翻转。修复方法 - 将父提交中修改过的测试文件恢复到子提交上，并针对子源码评估父断言 - 是合理的，且已验证提示词泄漏（展示的 diff 中没有测试内容）。
对照组池隔离了该机制
部署诚实的报告
真实部署的基准，框架设计合理
Weaknesses
切分规模上的内部不一致
报告的 A6 将提问变更与风险构建混淆
断言是可执行的断言，散文对照是模型生成的
正样本集中且截止后证据薄弱
提交内的相关性削弱了引用的 p 值
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
'Impact Is Not Invalidation' 是什么意思？
本文表明，了解变更会影响哪些代码（影响，例如通过测试覆盖率）与了解变更会使哪些存储断言为假（失效）是不同的。即使是拥有近乎完整的覆盖率导出依赖数据的 pytest-testmon，在标记伪造断言方面也仅达到 0.415 的准确率，而向 LLM 询问每个特定断言则达到 0.705-0.974 的准确率。
论文引入了什么基准测试？
一个基于执行的基准测试，包含 10,369 个断言——在提交 t 时确定性通过的测试函数——挖掘自 23 个 Python 库，其中包含 184 个已验证的“翻转”，即相同断言在提交 t+1 时失败。因为 CI 会阻止破坏现有测试的提交，作者将父提交的测试文件恢复到子提交上，以衡量实际翻转的内容。
为什么询问断言比询问 diff 更好？
关于 diff 级别的提问（“此提交是否保留行为？”）会在大多数改变行为的提交上触发，无论是否有任何特定断言失效；模型在 0.25 的基准率下仅达到 0.291-0.329 的准确率。向评判者提供断言文本几乎没有帮助（约 +0.01）；将提问改为“此断言是否仍然成立？”使准确率提高了 +0.49 到 +0.65。
代码和数据是否可用？
论文指出，基准测试、挖掘管道、每个模型以及每个模型和切分的每断言预测均已发布，包括一个在不到一分钟内验证一个存储库上的管道不变量的冒烟测试脚本 (repro_smoke.py)，以及固定 pytest 收集解析行为的测试。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 图 1-3 仅根据图注和周围的正文进行分析；无法直接检查视觉内容（图 2 中的绘图形状、置信区间重叠）。
- 引用的基线 [1]-[5] 是 2026 年的 arXiv 预印本；它们的声明无法从嵌入的文本中验证。
- 0.16% 的剔除率（第 III-A 节）和表 I 的 373 个被剔除断言可能衡量了不同的量（运行次数 vs 挖掘断言数）；文中未完全消除语义歧义。
- 提取的文本看起来很完整（从摘要到附录和参考文献），但 PDF 之外的任何补充材料都无法验证。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.