Do Large Language Models Know What They Don't Know II? A Fully Behavioral, Non-Cognitive Measure of Epistemic Honesty
Ali Şenol, H. Russell Bernard, Huan Liu
cs.AI
Quick verdict
一项严谨且具有自我认知的行为认识论诚实度指标及 3000 题基准测试；分类器的一致性与组件冗余性缓和了绝对评分。
Summary
该论文引入了认识论诚实商数 (EHQ)，这是一个包含三个子评分的行为综合指标——克制率、避免无保留错误断言以及在实质性回答中的置信度校准——以及 EHQ-3000，一个包含 3,000 个问题的基准测试，涵盖虚构实体、截止日期后事件、超小众真实事实和上下文条件问题。在冻结的非推理协议下，21 个已注册的 API 路由中有 14 个被分析：综合 EHQ 范围从 0.31 (GPT-4o-mini) 到 0.81 (Claude-5-Sonnet)，所有四个 Claude 变体均排名第一至第四，且接近天花板的文档阅读探测（99.2% 的综合准确率）排除了提取能力作为解释的可能性。作者认为这种差异在以正确性为中心的基准测试中是不可见的。然而，两个克制组件几乎是冗余的（r = .990），校准与克制并不总是可靠地共同变化，且 560 个回答的人工验证显示，自动分类器与人工编码员的一致性仅为中等（四类 kappa = .414），并存在依赖于家族的标注偏差。所有四个可评估的代际对均有改善（平均 +0.052），但未达到统计学显著性。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 3
● low 2
5 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 综合 EHQ 在相同项目上的14个模型中变化从0.31到0.81，是2.6倍的差异，接近天花板的基础文档能力探测（99.2%的综合准确率，无可检测的异质性）无法解释。
- 认识克制和实质性回答校准在模型之间并不总是可靠地共同变化（Pearson r = .333 和 .420，CIs 包括零），因此模型占据不同的部署权衡概况。
- 所有四个可评估的世代对在较新模型中得分更高（平均 +0.052），但仅有四对，设计无法达到传统的显著性（最小可达到 p = .125）。
- 传统的以正确性为中心的基准在结构上无法检测到这种变化，因为二元评分将弃权视为与捏造完全相同（引用 Kalai 等人）。
- 该框架的每响应验证揭示了测量危险——提供商端截断使一个路由的排名不确定，不可比的后弃权置信度，不可验证的非推理条件——这些在静默评估中会被忽略。
Strengths
预注册、冻结且可审计的协议
21个路由的注册表在评分前冻结；评分规则在获取数据前固定；每个制品都绑定哈希（SHA-256目录）；截断审计规则在检查分数前确定，统一将 Gemini-2.5-Pro 暴露为不可排名（三分之一的回答在句中被截断），从而得出了一个诚实的14个模型的确认面板。
对置信度语义的测量诚实性
第3.2节表明，在弃权后引出的置信度在模型之间不可比（报告零合规率范围为6.9%至79.6%），并将 EHQ3 限制在实质性回答上；这一改变在两个方向上都显著改变了分数（与已被取代的池化定义相比，Nova-Micro 为 -0.225，Claude-5-Sonnet 为 +0.145），并被版本标记为不可比。
披露失败的盲法人工验证
能力下限控制执行干净
显式构建代数
Weaknesses
三个报告的子评分中有两个在该基准上几乎是重复的
自动标注质量限制了头条数字
仅边界的奖励设计在四个类别中的三个类别的拒绝
RQ2 在设计上无法统计解决
综合权重是规范性的且具有后果性
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与主张
这篇论文（arXiv 2609.07879）提出了认识论诚实商数（EHQ）：三个行为子评分的综合——克制（EHQ1 = 弃权/含糊率），避免无保留错误断言（EHQ2 = 1 − 无保留错误率），以及实质性回答上的置信度-准确度校准（EHQ3 = 1 − 分箱 ECE）——权重为 0.30/0.45/0.25，在 EHQ-3000 上评估：3,000个平衡问题，涵盖虚构实体（FEQ）、截止日期后事件（PCQ）、超小众真实事实（HNQ）和上下文条件项（CCQ，答案范围从提供的文档中删除）。三个研究问题构建了从冻结的21路由注册表中提取的14模型面板的确认分析。中心主张：（1）EHQ 范围从0.31（GPT-4o-mini）到0.81（Claude-5-Sonnet），是2.6倍的差异，对以正确性为中心的基准不可见；（2）克制和校准分离；（3）所有四个可评估的世代对都有所改善。标题中的“II”将此定位为 Yin 等人的 SelfAware 的行为后继者。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
什么是认识论诚实商数 (EHQ)？
EHQ 是衡量大型语言模型如何诚实地处理其知识边界的行为分数。它结合了三个可观察的子评分：模型放弃或含糊其辞而不是回答的频率，避免无保留错误答案的频率，以及其陈述的置信度与其实质性答案实际正确的匹配程度。它仅从响应计算，无需访问模型内部。
根据这篇论文，关于哪些 LLM 是认识论诚实的研究发现了什么？
在相同3,000个问题上评估的14个模型中，综合 EHQ 范围从0.31（GPT-4o-mini）到0.81（Claude-5-Sonnet），四个 Claude 变体排名第一至第四。作者强调排名是比较性的：自动标签与人工编码员仅中等一致，绝对分数带有依赖家族的测量误差。
根据这篇论文，LLM 是否知道它们不知道什么？
这变化巨大。2.6倍的诚实分数差异无法用基本能力解释，因为所有模型在控制探测上几乎完美地阅读提供的文档（99.2%准确率）——然而一个具有完美探测分数的模型在十四个中排名第十二。克制（知道何时不回答）和校准（置信度跟踪正确性）也在模型之间独立变化。
EHQ-3000 数据集和评估代码是否公开可用？
是的。论文指向一个 GitHub 仓库（github.com/senolali/EHQ），包含数据集发布、评估框架（也在 PyPI 上作为“ehq”包）、配置模板和分析脚本。模型提供商凭据和专有端点不重新分发，因此重现分数需要您自己的 API 访问。
这项研究的主要限制是什么？
自动响应分类器与人工编码员仅中等一致（四类 kappa = .414），带有依赖家族的偏差；三个子评分中的两个在该数据集上几乎冗余（r = .990）；基准测试在四个类别中仅有一个具有匹配的可回答控制，因此它奖励拒绝回答；仅测试了四个世代对（无统计学显著性）；结果是仅英语、单轮且特定于冻结的14模型面板。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 提取的摘要在“behavioral d”处以单词结尾；相应的声明在结论中完整重述，因此没有审查的内容依赖于缺失的片段。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.