[控场AI]
概念Metacognitive Prompting

元认知提示词

一种提示词工程方法,将人类元认知的监控与调节结构编码进大模型推理流程,通常包含理解、初步作答、批评、决策、置信度报告五个阶段,强调用批评阶段捕捉首轮遗漏的错误

时间轴 (近 90 天)

10月12日

五阶段元认知提示词流水线(理解、初步答案、批评、决策、置信度)在确定性模型上将任务正确数从5/17提升到15/17。

待验证50%
10月12日

在元认知提示词流水线中移除门控条件后,正确率归零,退回基线5/17。

待验证50%
10月12日

带门控的元认知流水线挽救了10个错误答案且破坏了0个正确答案;无门控版本挽救了5个并破坏了5个正确答案。

待验证50%
10月12日

门控规则为:只有当批评阶段输出具名缺陷时,决策阶段才执行修改;若批评未指出具体错误,则原样返回初步答案。

待验证50%
10月12日

消融实验显示,移除理解阶段只丢失误读类任务的修复,移除批评阶段只丢失规则疏漏类任务的修复,两项增益之和等于总增益且无重叠归因。

待验证50%
10月12日

模型报告的置信度与实际正确率严重脱节:95%置信度档实际正确率为0%,90%和70%档实际正确率均为100%。

待验证50%
10月12日

过度外推(自信回答没有答案的问题)是唯一穿过全部五个阶段的失败模式,因为流水线中没有环节检查问题是否欠定。

待验证50%

全部知识事实 (7)

来源文章