Mitigating Performance Discrepancy in Cross-Domain 3D Class-Incremental Learning

Summary

本文研究了 3D 点云的类增量学习（CIL），当训练类别混合来自异构来源（如干净的 CAD 模型、RGB-D 扫描件、视频重建和损坏数据）的样本时。作者实证表明，除了灾难性遗忘外，准确率在这些域之间的下降是不平等的，他们将这种现象命名为性能差异，并引入了领域 3D-CIL，这是一个将四种公开数据集组合（ModelNet+ScanObjectNN、ModelNet+CO3D、ShapeNet+OmniObject3D、ShapeNet+ShapeNet-C）配对并在训练期间隐藏领域标签、评估时分域分层的协议。将十种基于预训练模型的 CIL 基线适应于冻结的 Uni3D 主干，他们发现 CAD 与非 CAD 的最后准确率差距高达 38.7%（APER 在 ShapeNet+OmniObject3D 上）。通过分析特征统计，他们认为一阶和二阶记忆（SimpleCIL、RanPAC）无法捕捉集中在高阶统计中的差异。他们的方法 PolyMem 用结构化的 TensorSketch 近似（RBF 核泰勒展开截至四阶）取代了 RanPAC 的随机投影，随后是相同的闭式岭回归。PolyMem 在所有四个基准测试中均实现了最小的域差距（最后准确率差距为 3.63-6.32），并以与 RanPAC 相当的成本，将非 CAD 准确率平均比任何基线提高了至少 6.8%。局限性：没有显著性检验、非 CAD 测试集较小、对差异机制的因果解释不完整，以及代码尚未发布。