AICG框架：面向数学简答题的AI感知认知评分新范式

引言：数学简答题自动评分的困境

基于Transformer的语言模型在自动简答题评分（ASAG）上已取得显著进展，但面对涉及符号与公式的复杂数学答案时，现有方法仍难以准确理解、推理和评估。更关键的是，这些仅输出分数的方法无法区分分数相同但能力状态迥异的学生，也忽视了生成式AI使用可能带来的评分上偏偏差。针对这些局限，研究者提出AICG（AI-aware Cognitive-supervised Grading）框架，通过双分支多任务架构将认知监督与AI检测融入评分流程，为数学简答题自动评分开辟了新路径。

双分支架构：从分数标签到认知监督

AICG的核心创新在于将评分从单一分数预测扩展为多任务学习。第一个分支基于RoBERTa，同时集成回归、序数回归和分类头，用于单个答案的评分。第二个分支则利用专家设计的Q矩阵将答案与所考察的技能关联，并联合预测基于G-DINA模型推导的技能掌握度和学习增益。两个分支共享编码器，使得技能层面的目标能够为答案评分提供超越分数标签的认知监督。这种设计让模型不仅知道“打多少分”，还能理解“学生掌握了什么”。

Q矩阵引导的认知监督

消融实验表明，Q矩阵引导的认知监督是性能提升的主要来源。通过将答案映射到具体技能，模型能够捕捉不同响应背后的认知状态差异，从而缓解仅依赖分数标签导致的泛化困境。在涵盖19个学期、49,402条教师评分响应的数据集上，AICG相对于RoBERTa回归将平均绝对误差（MAE）降低了50.3%，二次加权Kappa（QWK）从0.798提升至0.927。这一结果凸显了认知监督在复杂数学评分中的价值。

G-DINA模型（Generalized Deterministic Input, Noisy "And" gate）是认知诊断评估（CDA）中的一类核心模型，用于从学生的作答模式推断其对各细粒度技能的掌握状态。它把每道题视为若干技能的联合函数，并通过“猜测”和“失误”参数刻画作答噪声，从而在二值或等级化响应上估计技能掌握概率。与仅输出总分的项目反应理论不同，G-DINA能够给出技能层面的诊断画像，这正是AICG第二分支获取认知监督信号的统计基础。

Q矩阵是连接题目与技能的知识映射表，行对应题目、列对应技能，矩阵元素标示某题是否考查某技能。它是认知诊断模型可识别性的前提，通常由学科专家手工设计。Q矩阵的质量直接决定技能掌握度估计的合理性，因此在AICG中，Q矩阵既承担认知监督的语义桥梁作用，也是模型可解释性的来源之一。

序数回归（ordinal regression）是针对有序类别标签的建模方法，常见实现包括累积链接模型和CORAL、CORNLoss等深度版本。数学简答题的分数天然具有顺序性（如0分<1分<2分），若按普通分类处理会丢失类别间的距离信息，若按回归处理又忽略了分数的离散等级结构。序数回归通过为每个阈值学习一个偏置，在保持顺序约束的同时利用等级信息，因而在本任务中常比纯回归或纯分类更契合评分标签的分布特性。

AI感知加权：抑制生成式AI带来的评分偏差

生成式AI的普及为学习评估带来了新的挑战：学生可能借助AI生成答案，导致评分上偏。AICG引入一个Gen-AI检测器，通过监督对比预训练和线性分类估计辅助概率，并将其转换为可靠性权重。这些权重在学习评估过程中衰减不可靠的认知证据，从而降低AI辅助对评分准确性的干扰。实验显示，AI感知加权在未加权认知模型的基础上进一步将总体MAE降低了4.2%，并在最近四个后Gen-AI学期中持续改善MAE和QWK。这一机制为应对AI时代的学习评估提供了实用工具。

监督对比预训练（supervised contrastive pre-training）是一种表示学习方法，它在同一类样本的嵌入之间拉近距离、不同类样本之间推远距离，从而学到判别性更强且类内紧凑的特征空间。将其用于Gen-AI检测器，可以让检测器在少量标注数据下获得更稳定的AI生成文本与人工文本的区分边界。随后接一个线性分类头估计辅助概率，这种“预训练表征+轻量分类器”的组合在小样本、分布漂移的场景中通常比端到端微调更稳健，也便于把检测输出转换为可解释的可靠性权重。

实验验证与启示

研究在49,402条教师评分响应上进行了广泛实验，覆盖19个学期。除了整体性能提升，消融实验确认了Q矩阵引导认知监督的主导作用，而AI感知加权则作为补充，进一步增强了模型在AI普及环境下的鲁棒性。有意思的是，AICG在最近四个后Gen-AI学期中的稳定表现，说明其设计能够适应生成式AI广泛使用后的评估场景。

对教育评估的启示

AICG框架的意义不仅在于评分精度的提升，更在于它将认知诊断与AI检测整合到一个统一框架中，为自动化评分提供了更全面的视角。对于教育技术开发者和研究者而言，这一工作提示我们：未来的评分系统需要同时关注答案质量、学生认知状态以及AI辅助的潜在影响。尽管AICG目前聚焦于数学简答题，其双分支多任务和AI感知加权的思路有望迁移至其他需要复杂推理的学科领域。

二次加权Kappa（QWK） 是评分一致性评估的常用指标，它按评分等级间的平方距离对混淆矩阵加权，使“差一分”与“差三分”的错误受到不同程度惩罚，并对随机一致率做校正。QWK取值通常在0到1之间，越接近1表示与人工评分的等级一致性越高，因而特别适合简答题这类有序评分的评价。相比之下，MAE度量的是分数偏差的绝对幅度，两者结合能同时反映误差大小与等级一致性。

结语

AICG通过认知监督和AI感知加权，突破了传统ASAG仅依赖分数标签的局限，在数学简答题评分上实现了MAE和QWK的显著改善。随着生成式AI在教育场景中的渗透，这种兼顾评分准确性、认知诊断和AI偏差抑制的框架，为构建更智能、更可靠的学习评估系统提供了重要参考。