元认知提示词
一种提示词工程方法,将人类元认知的监控与调节结构编码进大模型推理流程,通常包含理解、初步作答、批评、决策、置信度报告五个阶段,强调用批评阶段捕捉首轮遗漏的错误
时间轴 (近 90 天)
五阶段元认知提示词流水线(理解、初步答案、批评、决策、置信度)在确定性模型上将任务正确数从5/17提升到15/17。
在元认知提示词流水线中移除门控条件后,正确率归零,退回基线5/17。
带门控的元认知流水线挽救了10个错误答案且破坏了0个正确答案;无门控版本挽救了5个并破坏了5个正确答案。
门控规则为:只有当批评阶段输出具名缺陷时,决策阶段才执行修改;若批评未指出具体错误,则原样返回初步答案。
消融实验显示,移除理解阶段只丢失误读类任务的修复,移除批评阶段只丢失规则疏漏类任务的修复,两项增益之和等于总增益且无重叠归因。
模型报告的置信度与实际正确率严重脱节:95%置信度档实际正确率为0%,90%和70%档实际正确率均为100%。
过度外推(自信回答没有答案的问题)是唯一穿过全部五个阶段的失败模式,因为流水线中没有环节检查问题是否欠定。
全部知识事实 (7)
五阶段元认知提示词流水线(理解、初步答案、批评、决策、置信度)在确定性模型上将任务正确数从5/17提升到15/17。
50%待验证在元认知提示词流水线中移除门控条件后,正确率归零,退回基线5/17。
50%待验证带门控的元认知流水线挽救了10个错误答案且破坏了0个正确答案;无门控版本挽救了5个并破坏了5个正确答案。
50%待验证门控规则为:只有当批评阶段输出具名缺陷时,决策阶段才执行修改;若批评未指出具体错误,则原样返回初步答案。
50%待验证消融实验显示,移除理解阶段只丢失误读类任务的修复,移除批评阶段只丢失规则疏漏类任务的修复,两项增益之和等于总增益且无重叠归因。
50%待验证模型报告的置信度与实际正确率严重脱节:95%置信度档实际正确率为0%,90%和70%档实际正确率均为100%。
50%待验证过度外推(自信回答没有答案的问题)是唯一穿过全部五个阶段的失败模式,因为流水线中没有环节检查问题是否欠定。
50%