待验证50% 置信事实精确时间
在6人研究样本中,导师需要决定「给什么帮助」的时刻只有约23次,样本量不足以判断模型决策质量;而纯函数可以写123个单元测试。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
别让LLM做决策:构建可预测AI导师的工程实践
rss2026/10/19
涉及实体
相关事实
待验证该测试样本规模相对有限(5个模型、13个代码库),结论有待更大规模验证72% 相似待验证在一项覆盖8个本地模型、超过5000次调用的测试中,提示词的措辞风格(朴素/正常/华丽)对非数学任务的正确率几乎没有影响,8B及以上模型的差异不超过4个百分点。72% 相似待验证该对比实验样本量有限:每个问题被问了两次,实际覆盖的问题数约只有 14 个,单次对错对结论扰动很大。72% 相似待验证在12个模型、112道题的测试中,面对'你确定吗'的质疑,模型有94.4%的概率坚持原来的正确答案72% 相似待验证本次测试存在局限性:仅14个组、一个20亿参数的模型、一次运行;三个有效改写因改变法律含义在运行前被修正,修正与测试集在同一提交中;尚未在更大模型上运行该测试集。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069221API
curl https://kongchang.com/api/v1/knowledge/claims/1069221MCP
get_claim(id=1069221)