待验证50% 置信基准精确时间

在交换选项名称与定义的实验中，Laya 使用 yes/no 命名时 76.9% 的决策发生翻转，原配对 AUC 93.8% 降至交换配对 23.2%。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/14

首次发现

有效期至：2027/1/12

来源

LLM 调用本质是分类器：返回标签与概率，而非句子

涉及实体

相关事实

待验证在BIRD基准测试中，使用令牌替代姓名的Aura方案正确率为67.6%，与真实数据的68.2%差距仅0.6个百分点，而外泄个人信息从849条降至0条66% 相似待验证当选项顺序被颠倒时，开放权重模型Laya会改变30%的答案66% 相似待验证答案选项顺序会导致Decisions API的置信度漂移约13个百分点66% 相似待验证Layla对选项基数和位置极度敏感，在77类分类题上准确率跌到0.425，打乱选项顺序能让20%的答案发生翻转65% 相似已验证如果AI给出正确决策的概率是90%，连续10次无脑追随AI的决定，最终正确率只有约35%（0.9的10次方）64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1029240

API

curl https://kongchang.com/api/v1/knowledge/claims/1029240

MCP

get_claim(id=1029240)