待验证50% 置信事实精确时间
在四个数据集、三个模型组成的全部12组配对实验中,树状遍历无一例外地输给了零样本提示。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
MYOPIA基准揭示:视觉语言模型的树状推理为何失效
rss2026/10/15
涉及实体
相关事实
待验证每个模型搭配零样本、少样本、思维链、少样本+思维链四种提示词,每种分两组,总共产生约52,000个标签72% 相似待验证每个模型回答 112 道题(7 类缺陷 × 2 个版本 × 4 次重复 × 2 种条件),其中一半有缺陷一半健全,机械回答'none'的模型会得到 0.50 分基线71% 相似待验证该开箱即用图谱工具在26个函数中有17个返回零调用方,尽管每个都确实有调用方,且每个空结果都被标记为精确、风险等级LOW69% 相似待验证在少样本(如每类约20个样本)情况下,应放弃多分类细分,将所有缺陷折叠成二分类问题(有缺陷/无缺陷),把具体分类交给人工事后处理68% 相似待验证该测试样本规模相对有限(5个模型、13个代码库),结论有待更大规模验证67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046712API
curl https://kongchang.com/api/v1/knowledge/claims/1046712MCP
get_claim(id=1046712)