Leakage-Safe and Scheduler-Aware Machine Learning for Grid Job Runtime Prediction
Ashfaq Ali Shafin, Khandaker Mamun Ahmed
cs.LG · cs.AI
Quick verdict
重构网格运行时间预测为无泄漏的时间评估；CatBoost R²=0.239，SJF 削减等待时间 50.92%，但调整差距和玩具仿真限制了结论的说服力。
Summary
本文重新评估了机器学习在网格作业运行时间预测中的应用，基于公共的 GWA-T-4 AuverGrid 跟踪数据（原始 404,176 个作业，保留 347,611 个），将 CPU 突发时间预测重新表述为一项严格的预执行任务：仅使用提交时属性作为特征，排除执行后字段，预处理仅在训练数据上拟合。作者比较了随机、时间 80/20 和冷启动拆分下的标准回归模型，添加了时间顺序安全的历史基准（实体历史限制在更早提交的作业），比较了 one-hot/ordinal/target-mean 编码与 CatBoost 的原生分类处理，并在内部时间验证拆分上调整了 CatBoost。随机拆分强烈乐观（K-NN R²=0.700），而时间拆分下的 CatBoost 为 R²=0.239（MAE 27,019 秒），用户 EMA 基准从 R²=0.638（随机）降至 -0.157（时间）。消融显示标识符驱动了性能；误差分析显示对极端作业存在系统性低估（平均误差为 -105,448 秒）。在所有 69,523 个留出作业的最小化单服务器、非抢占式仿真中，基于预测信息的 SJF 相比 FCFS 将平均等待时间缩短了 50.92%（oracle 为 75.83%）。主要局限：只有 CatBoost 进行了调整，可能使编码比较产生混淆；没有显著性检验或置信区间；仿真不切实际的单服务器规模（FCFS 等待约 2.6 年）；仅使用单一的过时跟踪数据；且没有代码可用性声明。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 3
● low 2
5 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 随机拆分交叉验证严重高估了部署性能：最佳随机拆分模型（K-NN）达到 R²=0.700，而在相同无泄漏特征策略下的时间 80/20 拆分中，降至 R²=0.239。
- CatBoost 配合原生分类处理和时间验证调整，在时间泛化上优于 one-hot、ordinal 和 target-mean 编码的模型（R²=0.239，而传统模型最佳为 0.107）。
- 基于预测信息的 SJF 在所有 69,523 个留出测试作业的单服务器仿真中，相比 FCFS 将平均等待时间缩短了 50.92%（oracle SJF：75.83%）。
- 模型系统性地低估了极长的作业：对于极端长度组（3,477 个作业），预测不足率达 99.97%，平均误差为 -105,448 秒，作者认为这对基于预留和回填的调度器至关重要。
Strengths
严谨的无泄漏纪律
表 II 记录了所有 29 列跟踪数据的逐属性决策；预处理仅在训练分区上拟合；§III-C 定义了时间顺序安全的历史基准，将每个测试作业的实体历史限制在更早提交的作业中 — 这是一个大多数评估中忽略的基准泄漏向量。
拆分敏感性被干净地量化
最佳随机拆分模型（K-NN，R²=0.700，表 V）在时间拆分下崩溃至 0.239，用户 EMA 基准从 0.638（随机）降至 -0.157（时间，表 VI）— 对随机交叉验证乐观性的清晰量化。
主张诚实校准
诊断深度
全测试集调度验证
Weaknesses
调整不对称性干扰了核心对比
没有不确定性量化
仿真现实性
单一、过时的跟踪数据
没有代码可用性
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
Report preview
范围与主张
这是一项关于网格作业运行时间预测的方法论重评估，而非新算法。使用公共的 GWA-T-4 AuverGrid 跟踪数据（原始 404,176 个作业，过滤后 347,611 个），作者将 CPU 突发时间预测重新表述为严格的预执行预测：仅使用提交时的属性作为特征（表 II），排除执行后变量，评估采用时间 80/20 和冷启动拆分取代随机交叉验证。六个研究问题涵盖准确性（RQ1）、时间顺序安全的历史基准（RQ2）、分类编码（RQ3）、特征组（RQ4）、按作业长度划分的误差结构（RQ5）和调度影响（RQ6）。核心主张：随机拆分高估了性能；经过时间调整且具备原生分类处理的 CatBoost 是最强的部署导向模型（R²=0.239，MAE=27,019 秒，RMSE=46,587，LogMAE=2.646，表 IV）；基于预测信息的 SJF 在最小化仿真中相比 FCFS 将平均等待时间缩短了 50.92%（表 XII）。
The remaining sections cover Methodology Assessment, Statistical Evidence, Results & Reproducibility, Limitations & Risks, and Verdict & Recommendations.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
本文中的 'leakage-safe' 运行时间预测是什么意思？
模型只能使用作业提交时获得的信息：请求的资源（ReqNProcs, ReqTime, ReqMemory）、用户/组/可执行/队列/站点 ID 以及时间戳。观测运行时间、已用 CPU/内存、状态、分区或最后一次运行站点等执行后字段被排除，预处理仅在训练数据上进行拟合。
使用了哪种数据集，规模有多大？
公共 GWA-T-4 AuverGrid 网格工作负载跟踪数据：包含 404,176 个原始作业，过滤后为 347,611 个。80/20 时间拆分保留了 278,088 个用于训练的早期作业和 69,523 个用于测试的后期作业。
基于 ML 的调度对等待时间的改善究竟有多大？
在涵盖所有 69,523 个保留作业的最小化单服务器、非抢占式仿真中，按 CatBoost 预测结果排序的 SJF 相比 FCFS 将平均等待时间缩短了 50.92%；使用真实运行时间的 Oracle SJF 实现了 75.83%，这是当前预测准确度所允许的上限。
为什么最佳时间 R² 仅为 0.239？
网格运行时间呈现极端的长尾分布（中位数为 2,658 秒，而平均值为 25,802 秒；归一化对数运行时间熵为 0.921）。在严格的时间拆分下，基于提交时特征，大部分方差似乎是不可简化的，这也是作者明确拒绝声称已解决运行时间预测问题的原因。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- PDF 提取导致数字混淆：§IV-E 中的 'a tree depth of 8,500 iterations' 被解读为深度 8 + 500 次迭代（提取伪影，已与超参数搜索空间 200/300/500 次迭代进行核对）。
- 文中未见截断：提取的内容以完整的参考文献列表（条目 [1]–[16]）结束，未检测到句子中途断开。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.