待验证50% 置信观点精确时间

要求LLM评估自己的输出时，评分过程与答案生成共享相同的模型参数和知识缺陷，形成循环依赖，无法提供独立于答案的验证信号。

1

来源数

50%

置信度

长期有效

时效性

2026/10/22

首次发现

来源

用LLM做置信度评分，为何是个坏主意？

涉及实体

LLMconcept 循环依赖concept

相关事实

待验证如果正确信息已送入 LLM 但答案仍错误，问题可能出在模型对上下文的利用方式上，如指令跟随、注意力分配或输出格式约束。79% 相似待验证让 LLM 自我评判答案是否正确是循环论证，因为幻觉和正确输出在结构上可能无法区分。77% 相似待验证LLM模型在「生成」和「评估」时所激活的推理路径不同，同一模型生成代码时可能忽略某个边界条件，但在评估另一份代码时却能识别该问题76% 相似待验证生成指标通常用LLM作为评判者，借助Ragas等库计算，包括忠实度、答案相关性和答案正确性。75% 相似待验证当自动评分波动大但人工复核认为多个变体答案质量相当时，说明问题出在评估环节而非模型75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1084178

API

curl https://kongchang.com/api/v1/knowledge/claims/1084178

MCP

get_claim(id=1084178)