待验证50% 置信基准精确时间
微软研究显示4-bit LLaMA 2测MMLU总分仅变化三分之一个百分点,但13%的单题答案发生了变化
1
来源数
50%
置信度
长期有效
时效性
2026/9/16
首次发现
来源
涉及实体
相关事实
待验证一项针对GPT-4的研究显示,对MMLU题目进行语义等价改写后,模型准确率在部分子集上下降超过10个百分点69% 相似待验证一篇EMNLP研究发现4-bit模型在12.8万token时检索损失平均高达23%,70B LLaMA丢失三分之一分数而同规模QWEN几乎无损63% 相似待验证多个前沿模型在MMLU上的得分差距已缩小到百分之一的量级,推动了MMLU-Pro和ARC-AGI等更高难度基准的出现62% 相似待验证量化位数越低模型在细节推理上表现越可能下滑,但在 4-bit 以上量化级别中多数任务的体验差距对普通用户并不明显61% 相似已验证在MMLU、HumanEval、GSM8K等主流评测中,头部大模型的得分差距往往只有几个百分点60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/925954API
curl https://kongchang.com/api/v1/knowledge/claims/925954MCP
get_claim(id=925954)