DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security
Ivan Aleksandrov, German Kochnev, Sabrina Sadiekh, Yaroslav Rogoza
cs.AI
Quick verdict
Bench 增加了对抗性双控制（基于 τ²-bench）；ASR 在14个模型上从 26.9% 跃升至 41.1%；设计合理但 ASR 混淆了失败情况且统计数据未报告。
Summary
DUMA-Bench 在双控制交互下评估 LLM 智能体安全性，其中智能体和用户模拟器都可以修改共享环境。通过扩展 τ²-bench，作者在八个漏洞领域构建了 35 个可执行的多轮场景——RAG 污染、跨智能体操纵、不安全输出处理、可信数据过度共享、基础设施滥用、钓鱼活动滥用、身份欺骗和工具遮蔽——主要通过确定性的环境断言进行评分，并在九个任务上通过 GPT-4o 判断的沟通断言进行补充。来自五个家族的 14 个模型在 solo（无用户）和双控制机制下进行了测试，每个配置运行五次（每个机制 1,960 次试验），固定的 GPT-4o-mini 用户模拟器的温度在九模型子集上进行了扫描。核心结果是双控制下的总攻击成功率从 26.9% 上升到 41.1%，领域效应从 +0.593（营销钓鱼）到 −0.031（邮件 RAG 钓鱼）；GPT-5 系列模型退化最严重，且能力无法预测鲁棒性。作者发布了代码、种子和脚本，并坦率地指出 solo 与双控制的对比是机制层面的差距，而不是因果消融，并且 GPT-5 运行无法禁用推理。主要局限：总 ASR 等于一减去 pass^1，将良性控制任务的失败归入“攻击成功”；尽管调用了 Fisher 检验，但未报告 p 值或置信区间；且附录可靠性表似乎仅涵盖九模型子集，使跨表比较变得复杂。
Review complete
Assessment at a glance
0
risk flags identified
● high 0
● medium 0
● low 0
4 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 引入双控制交互使14个模型和八个领域的总攻击成功率从26.9%提高到41.1%（表1）。
- 机制的改变重塑了哪些漏洞会浮现：领域 ASR 的变化范围从 +0.593（mktg_phishing）到 −0.031（mail_rag_phishing）（表2）。
- 模型能力并不能可靠地预测安全鲁棒性；GPT-5 变体在双控制下表现出最大的性能退化（表4）。
- 在用户模拟器温度为 0.0–1.0 的范围内，基准测试的总结果是稳定的（ASR 0.270–0.284，表3）。
- 安全性源于模型-用户-环境的交互，而不是模型本身的属性。
Strengths
填补了空白，具有清晰的位置论证
§2 将 ASB/AgentDojo（对抗性但用户被动）与 τ/τ²-bench（交互性但良性）进行对比；表2显示这些机制在质上有所不同——mktg_phishing +0.593 对比 mail_rag_phishing −0.031——这支持了交互会改变哪些漏洞可见的论点，而不仅仅是漏洞的等级。
主要是确定性的、可审计的评分
65个状态断言通过重放记录的工具轨迹进行检查（§3.4）；LLM 判断者仅限于9个任务上的37个断言，使用固定模板（附录 D）；60个决策的手动审计发现了56个一致（附录 E）。
广度加上可靠性分析
极其坦率的范围纪律
Weaknesses
“攻击成功率”实际上是一个失败率
“solo”基线是先前评估实践的一个狭窄代理
统计结论仅是断言，未展示实际数据
由于未披露的子集范围导致的跨表不一致
评判者与目标的循环性以及薄弱的沟通断言覆盖
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与主张
DUMA-Bench (arXiv:2609.24662) 在 τ²-bench 的双控制交互模型之上增加了一个对抗性安全层，其中智能体和 LLM 模拟用户都可以改变共享的环境状态。论文提出了三点主张：(1) 一个涵盖八个漏洞领域的 35 个可执行多轮场景的基准测试（表5：mail_rag_phishing ×7，collab ×6，infra_loadshed ×5，crm_leak ×4，tool_shadow_poison ×4，output_handling ×3，mktg_phishing ×3，auth_spoof_support ×3）；(2) 一个使用攻击成功率（ASR）加上 pass^k 可靠性指标的协议；(3) 实证发现，双控制使五个家族的14个模型的总 ASR 从 26.9% 提高到 41.1%（表1），同时重塑了哪些漏洞会浮现（表2：mktg_phishing 为 +0.593，mail_rag_phishing 为 −0.031）。§2 的定位是准确的：ASB 和 AgentDojo 注入了攻击但使用户保持被动；τ/τ²-bench 模型交互但没有对抗性。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 4 strengths & 5 weaknesses, analyzed in detail
- 0 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
什么是 DUMA-Bench？
一个公共基准测试，用于在“双控制”设置下测试基于LLM的智能体的安全性，其中AI智能体和模拟用户都可以更改共享环境。它扩展了 τ²-bench，在八个漏洞类别（如 RAG 污染、跨智能体操纵和不安全输出处理）中提供了35个可执行的多轮攻击场景，通过确定性环境检查以及一些 LLM 判断的通信检查进行评分。
这篇论文的主要发现是什么？
当评估从单人（无用户）机制转变为双控制交互时，14个模型的总攻击成功率从26.9%上升到41.1%。这种效应依赖于领域——在营销钓鱼中影响最大（+59个百分点），而在邮件 RAG 钓鱼中则没有——并且 GPT-5 系列模型退化最严重，这表明仅凭模型能力并不能保证智能体的安全性。
DUMA-Bench 的代码和数据可用吗？
是的。作者在 github.com/ai-security-lab-itmo/duma-benchmark 发布了该基准测试，包括任务定义、提示词、种子、评估脚本、复现说明和定性轨迹。
为什么 GPT-5 模型在此基准测试中安全性较低？
在双控制压力下，GPT-5 变体显示出最大的 ASR 增长（高达 +48 个百分点），但作者指出，他们运行这些模型时将推理设置为了最低设置，因为无法通过 API 完全禁用推理。因此，这一结果被呈现为模型家族诊断，而不是能力预测不安全性的证明。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 图1（机制图）仅有标题；轨迹示例在外部仓库中，无法检查。
- 表3和表8（1,575 = 9×35×5；表8 ALL 0.722 = 表3 pass值的平均值）的九模型子集范围是通过算术推断出来的；论文中从未明确说明。
- 评审基于提取的文本；未检查GitHub仓库内容（种子、脚本）。
- 表2中的域名不一致（auth_s_support，tool_s_poison）与附录A（auth_spoof_support，tool_shadow_poison）存在出入。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.