From Pixels to Pairs: A Comprehensive Benchmark of LLM-Based Key-Value Extraction in Noisy Document Settings
Zahra Anvari, Vassilis Athitsos
cs.CL · cs.CV
Quick verdict
一个有用的 LLM 键值提取在 OCR 噪声下的受控基准；发现合理，但关键匹配的不透明性和内部异常削弱了结论。
Summary
本文对六个开源指令微调 LLM（Gemma-2B/7B, Mistral-7B, Qwen2.5-7B, DeepSeek-7B, LLaMA-3-8B）在 FUNSD、CORD 和 SROIE 上的键值对提取进行了基准测试，涵盖四种输入机制：黄金文本（gold text）和来自 PaddleOCR、EasyOCR 和 Tesseract 的 OCR 输出。在所有配置中统一应用了统一的提示词、贪婪解码、256-token 生成上限和非语义输出规范化器；对键召回率（Key Recall）、精确匹配（Exact Match）和 token 级别值 F1（Value F1）进行了宏平均。Qwen2.5-7B 在几乎所有设置中都处于领先地位。在 SROIE 上，从黄金文本到 PaddleOCR 的值 F1 下降幅度不大（从 0.9262 到 0.8964），但在 CORD 上下降幅度很大（从 0.9700 到 0.8267）；在 Tesseract 下的 CORD 上，所有模型均低于 0.30。随着 OCR 噪声的增加，模型间的差距缩小，少样本提示（few-shot prompting）在 SROIE 和 FUNSD 上帮助最大，在一到两个示例后饱和。作者提出了一个两阶段的瓶颈（语义推理加上文本保真度），并列举了失败模式：键值错位、幻觉、数字损坏。主要局限性：FUNSD 黄金文本键召回率异常低（最佳 0.2939），甚至在 OCR 下还会上升（0.3516），这表明存在数据构建伪影；扩展结论基于一个 2B 对比 7B 的比较；未报告统计不确定性；表 17 缺少两行模型数据；且承诺的代码存储库没有可见的 URL。
Review complete
Assessment at a glance
0
risk flags identified
● high 0
● medium 0
● low 0
5 strengths · 5 weaknesses · 0 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 在干净文本上，指令微调的 LLM 是强大的语义 KVP 提取器，在部分数据集上接近监督式布局感知系统。
- 在现实的 OCR 噪声下，上游文本质量（而非模型容量）成为主导的性能因素，且随着噪声的增加，模型间的差距会缩小。
- 提取性能受制于两个阶段的瓶颈：对文本的语义推理以及在 OCR 噪声下文本保真度的保持。
- Few-shot 的提升取决于数据集的规律性和输入质量，在 SROIE 和 CORD 上大约 1-2 个示例后饱和。
- 反复出现的失败模式——键值对错位、幻觉、数字损坏——会被 OCR 错误放大。
Strengths
统一且刻意防泄漏的协议
一个数据集无关的 JSON 提示词，贪婪解码，256-token 上限，以及仅读取模型生成键/值字段的规范化器（第 3.3-3.4 节，A.5），使比较免受事后启发式膨胀的影响，并将模型能力与输入质量分离开来。
OCR 严重性是基于测量的，而非假设
每个引擎 x 数据集的字符/字错误率（第 5.3 节，表 9）使性能下降声明定量化——CORD/Tesseract 0.9825 的 WER 解释了该状态下低于 0.30 值 F1 的崩溃（表 17）——并表明噪声与文档结构相互作用。
互补的指标设计
系统性的实验网格
诚实的跨协议框架
Weaknesses
FUNSD 黄金文本结果存在内部不一致，很可能是测量伪影
256-token 生成上限暗中混淆了 CORD
从单个 2B 对比 7B 对得出的缩放结论
缺乏不确定性量化
尽管声称‘完全可复现’，但伪影和报告缺口仍然存在
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与声明
本文（arXiv 2609.17538）对六个开源指令微调的 LLM 进行了基准测试——Gemma-2B/7B-it、Mistral-7B-Instruct-v0.2、Qwen2.5-7B-Instruct、DeepSeek-LLM-7B-Chat、LLaMA-3-8B-Instruct——在四个输入机制下，对 FUNSD（表单）、CORD 和 SROIE（收据）进行纯文本键值对（KVP）提取：黄金文本加上来自 PaddleOCR、EasyOCR 和 Tesseract 的 OCR 转录。核心主张：(1) 指令微调的 LLM 在干净文本上是强大的语义提取器，‘在某些情况下接近监督式布局感知系统’；(2) 在现实的 OCR 噪声下，性能大幅下降，模型差距压缩，上游文本质量起主导作用；(3) 性能遵循语义推理和文本保真度的两阶段瓶颈；(4) 少样本（few-shot）增益取决于数据集的规律性和输入质量。其新颖性被宣称是首个跨这三个数据集的统一多引擎 OCR 鲁棒性基准（第 2.5 节）。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 0 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 0 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
2026年，用于从收据和表单中提取键值对的最佳 LLM 是什么？
在该基准测试中，Qwen2.5-7B-Instruct 是在 FUNSD、SROIE 和 CORD 的干净文本（gold text）和 OCR 输入下最强的 zero-shot 模型——例如，在 CORD 上 Value F1 为 0.97（gold text），0.83（PaddleOCR）。随着 OCR 噪声的增加，其相对其他 7-8B 模型的优势会缩小。
OCR 噪声对文档提取的影响是否比 LLM 的选择更大？
是的，很大程度上是这样。在干净文本上，模型的选择很重要，更大/更好的模型会胜出；但在严重的 OCR 噪声下（例如，Tesseract 在 CORD 收据上，字错误率 word error rate 约为 0.98），所有模型的 Value F1 均降至 0.30 以下，因此输入质量成为决定性因素。
Few-shot 示例是否能帮助 LLM 提取键值对？
是的，在所有三个数据集上，1-3 个上下文示例（in-context examples）都提高了准确性——在 SROIE 上最显著（在 gold 文本上，LLaMA-3-8B 的 Value F1 从 0.69 提升至 0.95）。提升在 1-2 个示例后趋于饱和，并在严重的 OCR 噪声下减弱。
这篇论文的代码和基准测试是公开的吗？
论文声称其框架是完全可复现的，并提到了用于提示词的随附代码库，但提取的文本中未包含 URL 或 DOI，因此无法验证其可用性。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 图 1-5 为栅格图像；仅能从提取的文本中分析其标题。
- 表 17 缺少两行模型数据（Tesseract 下的 Mistral-7B，EasyOCR 下的 DeepSeek-7B）；这可能是提取误差，而非论文本身的遗漏。
- 元数据中的日期不一致：页眉写着 2026 年 9 月 17 日，而 arXiv 戳写着 2026 年 7 月 14 日。
- 元数据中的摘要在句中被截断；完整摘要取自论文正文。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.