COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference
Norah Alballa, Wenxuan Zhang, Salma Kharrat, Fares Fourati, Zafar Ayyub Qazi, Mohamed Elhoseiny, Marco Canini
cs.CL · cs.AI
Quick verdict
COMED 是多 LLM 推理中的一种接受/验证/协作的锚点后控制器；其广泛的收益是可信的，但在稀疏设置下的获胜处于噪声范围内。
Summary
论文介绍了 COMED，这是一种多 LLM 推理控制器，介于路由（选择一个模型并停止）和稠密协作（在每次查询时调用所有对等方）之间。在锚点模型回答后，COMED 在三种操作中进行选择：接受、验证或协作。它会升级那些采样推理路径不一致的锚点；只有当路由边际较大时才接受一致的答案；否则运行一个廉价的单路径对等探测，其持续的高置信度不一致会触发协作。作者表明协作是非单调的：它在 MedQA 上挽救了 23.1% 的多数投票错误，但也会破坏正确的答案，并通过拯救-伤害分解对其进行了形式化。实验涵盖了两个开源权重的 7-8B 模型池、四个基准测试系列以及固定和路由锚点：COMED 在所有 16 个设置中都优于其锚点，平均提升 4.6 个百分点（在 MedQA 上最佳提升 10.7 个百分点），同时每个查询最多使用两个模型，解码 Token 约为稠密协作的三分之一。一个小规模的前沿模型测试在 160 个 HLE 项目上将 GPT-5.5 的表现从 23.13% 提升到 28.13%。关键局限：在稀疏或不匹配设置中的增益落在报告的置信区间内，HLE 子集较小，且没有与仅使用锚点验证的基线进行比较。
Review complete
Assessment at a glance
4
risk flags identified
● high 0
● medium 3
● low 1
4 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 跨模型协作是非单调的：在 MedQA 上，它挽救了 23.1% 的多数投票级错误和 14.2% 的路径级错误，但对于专家锚点，密集协作导致的错误翻转比挽救的要多（图 3）。
- 当且仅当挽救质量 qr 超过伤害质量 (1-q)h 时，选择性协作才优于其锚点，从而产生一个大于 1 的盈亏平衡比 rho（定理 1）。
- Top-1 COMED 在所有 16 个开源权重设置中都提高了其固定或路由锚点（平均 +4.6pp，在 MedQA 上最大 +10.7pp），同时每个查询最多使用两个模型，并且比密集的 Always Collab 少使用约 33% 的解码 Token。
- 在一个 160 个项目的 HLE 子集上，COMED 将 GPT-5.5 的表现从 23.13% 提升至 28.13%，优于稠密协作和类别查找路由器。
Strengths
Motivating analysis is concrete and dual-sided
第二节量化了 MedQA 上的两个方面：协作挽救了 23.1% 的 MV 级遗漏（n=199）和 14.2% 的路径级遗漏（n=141，图 2），而图 3 显示 Qwen 获得了 189 次挽救，而仅有 93 次伤害，但专家 Med42 锚点却遭受了 150 次伤害，而挽救仅为 139 次——这是控制器之前一个可信的、双面的经验动机。
Matched controls isolate the claimed mechanism
使用固定的对等方和解析器，COMED 在相同的协作率下比 Always-Collab Top-1 高出 9.1/5.9/2.1/3.8pp，比 Random same-rate Top-1 高出 3.8/3.3/5.2/6.4pp（表 3）——这清晰地将查询级升级的价值与稀疏性和对等方选择分离开来。
Statistical care exceeds field norms
Unusually complete cost accounting
Weaknesses
Universal claim outruns the inferential statistics on sparse settings
HLE conclusions rest on 160 questions with no uncertainty
Missing the natural post-hoc verification baseline
Aggressive controller defaults with narrow sensitivity analysis
Small evaluation sets and unexplained within-method gaps
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
- All 4 strengths & 5 weaknesses, analyzed in detail
- 4 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
What is COMED in multi-LLM inference?
在锚点模型回答查询后，COMED 决定是接受该答案，用另一个模型的单一廉价探测进行验证，还是升级到跨模型协作。其依据是三个信号：锚点采样推理路径之间的一致性（自洽性）、路由器前1名和前2名之间的差距，以及轻量级对等探测器的持续高置信度不一致。默认配置每个查询最多使用两个模型。
How much does COMED improve accuracy over a single model?
在报告的 16 个开源权重设置（两个 7-8B 模型池、四个基准测试、固定和路由锚点）中，COMED 在所有设置中都优于其锚点，平均提高 4.6 个百分点，最佳情况在 MedQA 上提高了 10.7 个百分点。在使用前沿模型的 160 个项目 HLE 子集上，它将 GPT-5.5 的表现从 23.13% 提升至 28.13%。请注意，在稀疏设置（GPQA、MMLU-Pro 混合）中，一些提升落在报告的 95% 置信区间内。
Does COMED cost more than calling one model?
COMED 的成本高于简单调用一个模型（它会对模糊的案例运行验证探测和协作），但比稠密协作更便宜：默认情况下每个查询最多涉及两个不同的模型，并且使用的解码 Token 比在每次查询时都调用所有模型的基线少大约 33%。论文还报告称，在一个 50 个问题的切片上，挂钟时间比稠密协作快 14–15%。
Is code available for COMED?
提取的论文文本详细描述了方法（伪代码、阈值、解码设置、数据集划分、缓存），但并未宣布发布任何代码或数据。可复现性因此依赖于从头开始的重新实现；确切的数字还取决于未发布的缓存和 160 个项目的 HLE 样本。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 提取的文本中有三个部分被省略（第五节中段、部分参考文献、附录 E/N.1 的开头），因此部分推导和 Bootstrap 的具体细节仅是间接引用。
- 图表仅能通过标题和文中数据查看；无法核对曲线层面的声明（图 2–8、14、18）的视觉一致性。
- 提取的文本中未出现代码/数据可用性声明；codeAvailable=false 反映的是缺乏证据，并非确定的否定结果。
- 前沿模型名称（GPT-5.5, Gemini 3.1 Pro, Claude Sonnet 4.6）和 2026 年 HLE 的引用无法从文本中独立核实。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.