Unverified50% confidenceBenchmarkExact time
Layla对选项基数和位置极度敏感，在77类分类题上准确率跌到0.425，打乱选项顺序能让20%的答案发生翻转
1
Sources
50%
Confidence
Long-term
Relevance
10/1/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedLaya存在错误时高置信度问题，出现过0分却给出0.952置信度的情况65% similarUnverified精度参数看两部分：'读数百分比+末位字数'（如±0.5%+2），末位字数在小量程时对总误差影响很大，只看百分比会误判65% similarUnverified困惑度是测试集上每个token平均负对数似然的指数，值越低代表模型对语料的预测越准确65% similarUnverified在歧义点的四类行为中，'先搜再问'成功率最高，平均通过率达93.4%，远高于'直接猜'的56.5%，'搜多次再猜'为51.5%63% similarUnverified当相关文档被放置在上下文中间位置时，模型正确回答率相比放在首尾位置下降高达20-30个百分点63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/964404API
curl https://kongchang.com/api/v1/knowledge/claims/964404MCP
get_claim(id=964404)