AuDiR
一种基于受控输入干预的音频推理诊断框架,通过逐步提供规则和声学观察文本来分离感知失败、知识缺失和应用失败三类失败模式。
时间轴 (近 90 天)
AuDiR(Audio Diagnostic Reasoning)是一个基于受控输入干预的音频推理诊断框架,通过逐步提供规则和声学观察文本来分离感知失败、知识缺失和应用失败三类失败模式。
AuDiR 的每个测试项包含四部分:一段音频、一道多项选择题、一条任务通用规则,以及一段描述回答问题所需声学观察的文本。
AuDiR 设置了三种渐进干预条件,外加一种移除音频但保留问题和规则的条件;模型在哪种条件下首次答对,就被赋予一个操作性的响应标签。
AuDiR 基准目前包含 201 个项目、18 个家族,来自 9 个来源。
AuDiR 中 25.0% 的随机猜测水平对应四选一的多项选择题形式。
在 Gemini-3.8-flash 上的初步评估显示:不提供任何辅助信息时准确率为 29.3%。
在 Gemini-3.8-flash 上,提供规则后准确率升至 31.3%,同时提供声学观察文本后达到 98.5%。
AuDiR 发现规则回忆不完整与规则提供带来的更大收益之间存在家族级统计关联,即模型对某类规则掌握得越差,补充规则后的提升越明显。
AuDiR 的作者指出,家族层面的统计关联不能直接推断个体项目的因果路径,存在生态学谬误的风险。
AuDiR 通过移除音频的条件来探测模型可能利用的识别捷径(shortcut learning),但作者承认捷径可能以更隐蔽的方式存在。
还有 3 条时间轴事件
全部知识事实 (13)
AuDiR(Audio Diagnostic Reasoning)是一个基于受控输入干预的音频推理诊断框架,通过逐步提供规则和声学观察文本来分离感知失败、知识缺失和应用失败三类失败模式。
50%待验证AuDiR 的每个测试项包含四部分:一段音频、一道多项选择题、一条任务通用规则,以及一段描述回答问题所需声学观察的文本。
50%待验证AuDiR 设置了三种渐进干预条件,外加一种移除音频但保留问题和规则的条件;模型在哪种条件下首次答对,就被赋予一个操作性的响应标签。
50%待验证AuDiR 基准目前包含 201 个项目、18 个家族,来自 9 个来源。
50%待验证AuDiR 中 25.0% 的随机猜测水平对应四选一的多项选择题形式。
50%待验证在 Gemini-3.8-flash 上的初步评估显示:不提供任何辅助信息时准确率为 29.3%。
50%待验证在 Gemini-3.8-flash 上,提供规则后准确率升至 31.3%,同时提供声学观察文本后达到 98.5%。
50%待验证AuDiR 发现规则回忆不完整与规则提供带来的更大收益之间存在家族级统计关联,即模型对某类规则掌握得越差,补充规则后的提升越明显。
50%待验证AuDiR 的作者指出,家族层面的统计关联不能直接推断个体项目的因果路径,存在生态学谬误的风险。
50%待验证AuDiR 通过移除音频的条件来探测模型可能利用的识别捷径(shortcut learning),但作者承认捷径可能以更隐蔽的方式存在。
50%待验证AuDiR 的作者坦承当前工作存在验证不完整、模型可能利用识别捷径、响应模式存在非单调现象等局限。
50%待验证AuDiR 的操作性响应标签仅描述操作层面的响应模式,并不等同于识别出唯一的内部因果机制。
50%待验证在解读无音频条件结果时,置信区间是否覆盖 25.0% 是判断模型能否仅凭问题和规则得出答案的关键统计依据。
50%