待验证85% 置信事实时间未知

大模型普遍存在过度自信的问题，需要通过提示词工程和校准策略来校准置信度

1

来源数

85%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

AI项目评测体系：5大层级30项指标实战指南

bilibili卢菁博士_北大AI博士后

涉及实体

大模型concept 置信度校准concept

相关事实

待验证当模型缺乏某个库的准确知识时，倾向于生成语法正确但语义错误的代码，即'自信错误'71% 相似待验证最新研究"The Danger of Overthinking"指出能做脑内模拟的模型存在想太多的问题，有些模型反复思考却不行动甚至还没尝试就自我放弃70% 相似待验证由于大语言模型存在提示词注入攻击风险和幻觉问题，权限过大的Agent可能在被恶意输入诱导或判断失误时对业务数据、外部系统造成不可逆破坏70% 相似待验证当前工具选择策略高度依赖模型的即时判断，缺乏系统性优化，在企业场景中可用工具可达数十乃至数百个，模型选择时易出现幻觉、重复调用或选错工具69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/27432

API

curl https://kongchang.com/api/v1/knowledge/claims/27432

MCP

get_claim(id=27432)