Watermarkable Multi-Draft Speculative Sampling via Poisson Processes
Yanxiao Liu, Sicheng Wan, Sicheng Wan, Zhan Gao, Deniz Gündüz
cs.CR · cs.LG
Quick verdict
基于泊松过程的多草稿推测采样在不损失接受率的情况下嵌入了无偏水印；理论严谨；存在轻微的表格不一致。
Summary
该论文将推测解码和LLM水印统一到一个单一的采样规则中。利用泊松函数表示和泊松映射定理，作者构建了一个密钥控制的、上下文索引的泊松源，由草稿和目标侧共享；因为总是发出目标侧的赢家，每个token都精确符合目标分布（无偏），而相同的时钟产生Aaronson风格的检测分数，在零假设下具有精确的伽马p值。多草稿扩展（MPFR）在每个上下文中抽取B个独立的目标样本，提供了一个无通信的列表耦合方案，该方案在停止时间上是草稿不变的——这一概念是论文在强概念和条件概念之间定义的。从理论上讲，定理5.1对接受进行了下限约束，并证明比Rowan等人（2025）的边界更严格。在CNN/DailyMail和ELI5上（每个单元1000个提示），对Qwen2.5-7B/0.5B、Vicuna-7B/68m和Llama-3.1-8B/3.2-1B的实验表明，MPFR在接受率上与未带水印的INVARIANT解码器相匹配（在B=4时AATPS为3.123对3.109，Qwen/CNN-DM），同时带有水印信号（ANLPPT-U约0.051对0.002），且PFR在草稿替换下保持小于1个点的TPR@1%FPR偏差，而对比方案偏差为12-22。局限性：没有针对文本编辑或伪造攻击的评估，承认了簿记开销，以及内部不一致（例如，一个±0.013的LPPL审计声明与表11/13中约0.04-0.05的差距相矛盾）。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 5
● low 0
5 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 密钥控制的上下文索引泊松源允许草稿和目标样本共享一个耦合，因此每个发出的token都精确符合目标分布，同时带有可检测的Aaronson风格水印，并具有精确的伽马p值。
- 多草稿扩展MPFR具有接受下限（定理5.1），证明其比Rowan等人（2025）的边界更严格。
- 该方案在停止时间上是草稿不变的，在草稿替换下产生几乎相同的输出（最小对ROUGE-L为0.990），且TPR偏差小于1个点，而对比方案偏差为12-22个点。
- 水印强度不会随草稿数量B而稀释（在B∈{2,4,6,8}时，ANLPPT稳定在±0.001以内），且接受率与未带水印的INVARIANT解码器相当。
- 单草稿PFR采样器在测试的每个lookahead L上都实现了帕累托最优，优于Hu和Huang（2024）的MWS/MSE权衡端点。
Strengths
清晰的精确性理论
附录A提供了一条从一般PFR到有限词汇案例的完全构造性路径：定理A.1证明了PFR简化为指数竞赛，定理A.5证明了有限支撑MPFR是精确的，定理A.6将精确性扩展到批量目标推测循环——对于实际使用的处理后（top-k、温度）分布，采样保证是无懈可击的。
耦合层面的水印，经过验证
在表2-5中，PFR的AATPS在噪声范围内跟踪PFR-NOWM（例如在L=4时，Qwen/CNN-DM上分别为2.446和2.439），因此水印不增加接受成本，且ANLPPT-U（根据单元不同为0.022-0.104）与自回归上限BASIC-UWM匹配。
具有实际意义的抗草稿更改结果
严格的理论改进
彻底的指标评估
Weaknesses
内部声明与自己的表格相矛盾
演示/组装错误削弱了信任度
规避禁区未被清晰形式化
没有对抗鲁棒性评估
未量化的簿记开销，单元依赖性
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 插图1-6无法从提取的文本中分析；所有定量判断均基于表格。
- 提取的文本中看不到代码仓库URL；论文仅承诺“随论文发布”配置和每个种子的结果文件。
- 附表编号不一致（表6-9与10-13在相同的单元格上显示略有不同的数值），因此某些数字可能对应于不同的运行结果。
- 除此以外文本完整（第1-6节，附录A-F）。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.