ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
Chin Ting Hsu, Yu-Syuan Xu, Ling Zou, Hsien-Kai Kuo, Wen-Huang Cheng
cs.CL · cs.AI · cs.CV
Quick verdict
实证细节：ECOKV 提出通过欧几里得 + 余弦多样性度量提升 MLLM KV 淘汰效果；在紧凑预算下有实际收益，但部分与窗口缩小混为一谈；SparseMM 的效果参差不齐。
Summary
ECOKV 是一种面向多模态 LLM 的免训练 KV 缓存淘汰方法，其动机在于发现基于余弦相似度的多样性度量会丢弃模长信息，并且由于表征的各向异性，在不同层之间保持均匀的高度，从而高估了冗余。每个 key 的多样性得分结合了到 key 质心的最小-最大归一化欧几里得距离与 MixKV 的余弦得分（α=0.8, β=0.6）；根据这两个指标估计的逐头冗余度，自适应地权衡多样性与重要性，并将继承的 32-token 观察窗口缩减至 4 或 1。在 LLaVA-NeXT-Mistral-7B 和 Qwen2-VL-7B 上，跨 DocVQA、OCRBench、TextVQA、ChartQA、TextCaps 和 MP-DocVQA，在 256/128/64 的预算下，即插即用于 SnapKV、PyramidKV、AdaKV 和 SparseMM，在预算 64 下增益最大（例如，Qwen2-VL+SnapKV OCRBench 从 62.4 提升至 74.8，而 MixKV 为 66.0），且在 256 预算下与 FullKV 大致持平。局限性：标题中的部分增益来自于窗口缩减本身——与匹配的 window-4 MixKV 相比，仅度量的边际低于 0.8 个百分点，并且在预算 256 时出现反转；SparseMM 集成显示出一些性能回退；准确度缺乏不确定性估计；验证仅涵盖了两个在以 OCR/文本为中心的任务上的 7B 模型；未提及代码发布。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 2
● low 3
5 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 余弦相似度本身会高估 MLLMs 中的 key 冗余，因为各向异性使其保持较高水平，且归一化丢弃了模长信息（第 4 节，图 1-2）。
- 结合归一化欧几里得距离与余弦得分的复合多样性得分，加上自适应头冗余加权（α=0.8, β=0.6），可以持续改进四种淘汰框架（第 5 节，表 1）。
- 将观察窗口从 32 个 token 减少到 4 或 1 个 token 可以提高紧凑预算下的性能，这并非 ECOKV 增益的唯一来源（第 5.3 节，表 3、8、9）。
- 作者声称在 256 token 的预算下，ECOKV 在测试的以 OCR/文本为中心的基准上达到或超过了未压缩的 FullKV 缓存（第 6.2.1 节）。
Strengths
有理有据的度量指标分析
第 4 节的恒等式 ECD(a,b)^2 = ||a||^2 + ||b||^2 - 2||a||||b||cos(a,b) 从形式上表明余弦是模长盲的特例；图 1-2 量化了 Qwen2-VL 中的各向异性（所有层的平均余弦值均在 0.4 以上，第 0 层接近 1.0，尽管 PCA 显示 token 分布良好）。
在四种框架下均取得了显著的紧凑预算增益
表 1：在预算为 64 时，Qwen2-VL 在 DocVQA 上提升了 +14.9（AdaKV：82.7 对比 MixKV 67.8），在 OCRBench 上提升了 +8.8（SnapKV：74.8 对比 66.0）；LLaVA+PyramidKV OCRBench 从 29.1 提升至 44.1；TextCaps CIDEr 相比 MixKV 提升了 +0.416（SnapKV，预算 64）。
透明的归因消融实验
广泛而细致的消融实验
独立有用的窗口大小发现
Weaknesses
标题对比混淆了两个贡献
未解释 SparseMM 的性能回退
缺乏不确定性量化
实证研究范围狭窄
未声明代码发布
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与声明
ECOKV（arXiv 2609.06663；台湾大学与联发科合作）提出了一种面向多模态 LLM 的免训练 KV 缓存淘汰方法。其四个声明：（1）基于余弦相似度的多样性度量高估了冗余，因为归一化丢弃了模长信息，且各向异性使余弦在各层之间保持均匀的高水平（第 4 节，图 1-2）；（2）结合最小-最大归一化的欧几里得距离与余弦得分，加上自适应头冗余加权，可以产生更好的淘汰效果（第 5.1-5.2 节）；（3）将继承的 32-token 观察窗口缩减至 4 或 1 可以提高紧凑预算下的性能（第 5.3 节）；（4）其结果是跨预算的最先进技术，并且即插即用于现有框架，在预算 256 时与 FullKV 匹配（第 6.2.1 节）。评估涵盖了 LLaVA-NeXT-Mistral-7B 和 Qwen2-VL-7B 在 DocVQA, OCRBench, TextVQA, ChartQA, TextCaps 和 MP-DocVQA 上，预算为 256/128/64，集成到 SnapKV, PyramidKV, AdaKV 和 SparseMM 中，以 MixKV 作为多样性基线。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
什么是 ECOKV，它解决了什么问题？
ECOKV 是一种无需训练的方法，用于决定在多模态 LLM 的推理过程中，KV 缓存中应保留哪些 key-value 对。它通过添加欧几里得距离（保留了向量模长）改进了基于余弦相似度的多样性评分，并自适应地权衡每个注意力头的多样性与重要性；此外，它还将最近 token 的观察窗口从 32 个 token 缩小到 4 或 1 个 token。
ECOKV 比之前的方法好多少？
随着缓存预算的缩小，增益越来越大。在 Qwen2-VL-7B 和 SnapKV 使用 64 个 token 的预算下，OCRBench 准确度从 62.4（SnapKV）上升到 66.0（MixKV）再到 74.8（ECOKV）。在预算为 256 时，它大致匹配未压缩的 FullKV 缓存。然而，在 SparseMM 框架下，ECOKV 有时略逊于 MixKV。
这种改进仅仅是因为使用了更小的观察窗口吗？
不完全是，但这也是部分原因。论文的补充材料表 9 显示，给 MixKV 基线使用相同的窗口 4 会大大缩小差距：在预算 256 时，MixKV(4) 略优于 ECOKV（81.1 对比 80.9 OC RBench），而 ECOKV 在预算 128 和 64 时仍然领先。
ECOKV 的代码可用吗？
此处评审的论文文本没有提到代码发布。它记录了完整的超参数（α=0.8, β=0.6, window 4），使用了公共的 LMMs-Eval 工具，并评估了公共模型（LLaVA-NeXT-Mistral-7B, Qwen2-VL-7B），这有助于复现。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 图 1-8 是图像；仅提取了标题，因此无法从提供的文本中独立验证图表内部的数值（例如，图 3 中确切的 α/β 灵敏度曲线，图 4 中的 Spearman 值）。
- 提供的元数据中的摘要在句子中间被截断，但提取的全文中包含了完整的摘要；文档末尾没有内容缺失。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.