Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams
Ali Habibullah, Yazan Alshoibi, Mohammad Alshiekh, Salman Khan, Naeemullah Khan
cs.CL · cs.AI · cs.CY
Quick verdict
大型双评考试研究显示，一个单句 prompt 变更会导致开源权重 LLM 评分员崩溃；证据有力，机制尚不明确，LoRA 可以修复。
Summary
这项实证研究在两项真实的、双重评分的大学考试上评估了 LLM 自动评分员：一项 CV 考试（570 名学生，171 种配置）和一项独立的 ML 考试（1,038 名学生，162 种配置）。在以评分员平均分为目标、人工评分员间底线（2.61/35）为基准的情况下，六个闭源模型配置 — 四个 Gemini，两个 GPT-5.5 — 达到或超过了该底线，最佳为 MAE 1.64/35。核心发现是 prompt 的脆弱性：一个简短的“严格评分员”前言导致 17 个开源权重模型中的 14 个脱离了分级区间（MAE ≥ 8），三个拒绝评分；消融实验将损害归因于两个剥夺得分的句子，而不是语气或规模，尽管机制解释仍然是一个分类假设。复制显示该脆弱性可以迁移，但其方向是针对特定考试的：17 个模型中有 7 个在 ML 考试中有所改善，因为人设抵消了它们的中性评分过高（r = -0.73）。在约 3,900 个池化示例上进行轻量级 LoRA 微调，使五个小型开源模型在成对第三评分员测试中达到人工同等或更好的水平，并几乎消除了人设敏感度（≤0.32 MAE）。局限性：单一机构、106B 以上规模与模型系列混淆、单次运行和单个固定种子划分，以及没有代码执行的静态评分。
Review complete
Assessment at a glance
0
risk flags identified
● high 0
● medium 0
● low 0
5 strengths · 0 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 最佳闭源模型配置（例如 Gemini 3 Flash，MAE 为 1.64/35）在中性 prompt 下击败了 CV 考试的人类评分员间底线（2.61/35）。
- 一个简短的“严格评分员”前言将 17 个开源权重模型中的 14 个推到了分级区间之外，损害可归因于两个剥夺得分的句子，而不是语气或规模。
- 该漏洞在第二场独立考试中得到重现，但其方向是针对特定考试的：17 个模型中的 7 个有所改善，因为该人设抵消了它们在中性 prompt 下评分过高的倾向。
- 在约 3,900 个池化示例上训练的单个 LoRA 适配器，使五个小型开源模型在两场考试中达到了人类同等或更好的水平，并将人设敏感度降低至 ≤0.32 MAE。
Strengths
大规模、生态有效的评估设计
两项具有双重人工评分的真实大学考试（570 + 1,038 名学生），共 333 种配置，以评分员间 MAE 底线（CV 考试为 2.61/35）作为可比基准，而非精选黄金标准；第 4 节和附录 G 甚至剖析了底线本身的成对结构（4.2 倍的评分员对传播）。
超越 MAE 的失败分类法
第 5.1 节和表 6 将拒绝、近似拒绝、崩溃和选择性字段崩溃区分开来，而仅靠 MAE 无法做到这一点（例如，Gemma-3-27B 在零归零 Q1 时 MAE 为 11.55，而 GLM-4-32B 通过归零 273 名学生得到 9.66）；表 7 手动标注了评分字段读数为 0 而基本原理中列出了部分得分的案例（20% 和 43%）。
严谨、诚实的归因
带方向逆转的复制
部署相关且披露充分的补救措施
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与声明
本文评估了 LLM 作为长篇、代码密集型大学考试评分员的表现，并与双重人工评分进行对比。涉及两项考试：一项 CV 考试（570 名学生，四个 notebook 问题，35 分基础评分），运行了 171 种配置；以及来自另一门课程的独立 ML 考试（1,038 名学生，约 65 分制），运行了 162 种配置。核心声明：（1）最佳闭源模型配置 — Gemini 3 Flash（D01，MAE 1.64/35 [1.51, 1.79]）、3.1 Pro 和 GPT-5.5 — 达到或超过了人工评分员间底线（2.61/35）；（2）一个包含两句话的“严格评分员”前言导致 17 个开源权重模型中的 14 个脱离了分级区间（MAE ≥ 8），三个拒绝评分，损害归因于两个剥夺得分的句子；（3）该漏洞在 ML 考试中得到重现，但对七个评分过高的模型方向发生了逆转（中性偏差预测严格影响，r = -0.73，置换 p = 0.002）；（4）在约 3,900 个池化示例上使用单个 LoRA 适配器，使五个小型开源模型在成对第三评分员测试中达到人工同等或更好的水平，并将人设敏感度降低至 ≤0.32 MAE（第 8.4 节）。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 5 strengths & 0 weaknesses, analyzed in detail
- 0 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
LLM 评分能像人类评分员一样准确吗？
在这项研究中，顶级闭源模型确实可以：在 570 名学生每人由两名人类评分员评分的 CV 考试中，最佳配置（Gemini 3 Flash，中性 prompt）的平均绝对误差为 1.64/35，低于两名人类评分员之间 2.61/35 的差异。小型开源权重模型在约 3,900 个评分样本上进行微调后，仅达到了该水平。
什么样的 prompt 会破坏 LLM 评分员的功能？
一个包含禁止部分得分句子的简短“严格评分员”前言——例如“评分不低于可辩护的最低分……”和“如果任务运行不正确，绝不给部分得分”——导致 17 个开源权重模型中的 14 个脱离了可用的准确率区间（MAE ≥ 8）；有三个完全停止了评分。论文将这种损害归因于那两个剥夺得分的句子，而不是严厉的语气。
严格的人设会破坏所有考试中的所有模型吗？
不会。在一项独立的机器学习考试中，同样的前言使 17 个模型中的 10 个表现变差，但使 7 个模型有所改善：那些在中性 prompt 下评分过高的模型因严厉的人设而得到了纠正——这是一种伪装成稳健性的校准错误（中性偏差预测了严格的影响，r = -0.73）。
你如何修复 LLM 评分中的 prompt 脆弱性？
论文比较了两种仅限 prompt 的修复方案（评分标准分解和评估后仲裁）与在课程自身约 3,900 个双重评分样本上进行微调的效果。仅 prompt 修复方案的结果较差，而一个单一的池化 LoRA 适配器使五个小型开源模型在成对的第三评分员测试中达到了人类同等或更好的水平，并将人设敏感度降低至 ≤0.32 MAE。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 提取截断了第 7 节（微调数据构建）以及附录 C/E/K 的部分内容；调查结果源自第 8 节和附录 E。
- 图 1–4 和 7 仅作为文本转储提供；无法从文本中验证可视化声明。
- 模型版本标识（GPT-5.5, gemini-3.1-pro-preview, Gemma-4-E4B）按论文报告内容原样采用，无法独立验证。
- 少数表格（例如表 10、表 23 部分）在提取时被省略；结论基于表格 1–9、16–25 以及正文。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.