[控场AI]

#模型评估

共 56 篇相关文章

OpenTWBench:台湾知识评测基准揭示评分体系如何左右模型得分
·6 分钟

OpenTWBench:台湾知识评测基准揭示评分体系如何左右模型得分

OpenTWBench 发布台湾知识评测基准,包含 tw-exam-bench 与 tw-formosa-bench。研究揭示答案抽取方式可使准确率从20.8%跃至93.9%,系统提示占位符可重排榜单,量化评测装置对模型得分的影响。

阅读全文 →
偏见分数低不等于模型更公平:多语言审计的翻译陷阱
·6 分钟

偏见分数低不等于模型更公平:多语言审计的翻译陷阱

多语言模型偏见审计研究发现:非英语得分普遍低于英语,但相关性分析显示平均分无法区分真实公平性与翻译造成的噪声,忠实翻译同样导致分数下降,附三个常见流程错误。

阅读全文 →
当LLM解释正确却给出错误决策:一次商业证据判断基准测试
·9 分钟

当LLM解释正确却给出错误决策:一次商业证据判断基准测试

一项 Kaggle 商业证据判断基准测试揭示:大语言模型可能解释正确却返回错误决策标签。涵盖 Claude Haiku 4.5、GPT-5.4 mini、gpt-oss-20b 等六个模型的对比结果与失败模式分析。

阅读全文 →
AI模型何时该说"我不知道"?一个Kaggle升级基准的实测结论
·7 分钟

AI模型何时该说"我不知道"?一个Kaggle升级基准的实测结论

一个为期11天的Kaggle升级基准测试揭示:评估AI模型应看最差形态而非平均值。本地小模型会做题却不知自己不会,虚假自信率高达100%。本文解析该基准的设计、发现与工程落地方案。

阅读全文 →
谁来校准做决策的人?被忽视的"人类置信度"
·7 分钟

谁来校准做决策的人?被忽视的"人类置信度"

我们苛刻地要求AI模型给出置信度曲线,却从未要求做决策、签字的人给出同样的"校准图"。本文提出用个人置信度台账与可靠性图,让人类判断像机器一样可被评分与检验。

阅读全文 →
重新审视口音分类:DistilHuBERT 的说话人隔离评估与跨语料泛化
·4 分钟

重新审视口音分类:DistilHuBERT 的说话人隔离评估与跨语料泛化

一项基于 DistilHuBERT 的研究指出,口音分类的文件级评估会严重高估模型性能。通过说话人隔离评估与跨语料测试,揭示了模型泛化的真实挑战,并探讨均衡外部数据训练与伪标签方法的效果。

阅读全文 →
模型每周更新,如何判断哪款适合你的产品?Notion AI负责人谈自建评估
·4 分钟

模型每周更新,如何判断哪款适合你的产品?Notion AI负责人谈自建评估

Notion AI负责人Sarah Sachs提出,面对每周发布的新模型与Agent,产品团队应构建自己的评估体系(evals),用数据驱动模型选型、监控线上质量,让AI能力真正转化为产品价值。

阅读全文 →
提示词敏感性:是模型问题还是评估方式的锅?
·4 分钟

提示词敏感性:是模型问题还是评估方式的锅?

大模型对提示词高度敏感,究竟是模型能力缺陷还是评估方法设计不当?本文剖析提示词敏感性的两种来源,并给出区分模型问题与评估器噪声的实用方法。

阅读全文 →
评估LLM与Agent工作流为何这么难?现实场景中的基准测试困境
·5 分钟

评估LLM与Agent工作流为何这么难?现实场景中的基准测试困境

来自研究者社区的讨论揭示了现实LLM与Agent工作流评估的核心难点:多工具协作、过程正确性、评估环境成本等。本文梳理现有基准测试的盲区与跨行业需求,为AI工程实践者提供评估思路参考。

阅读全文 →
提示词扰动如何影响大模型的偏见与幻觉?
·4 分钟

提示词扰动如何影响大模型的偏见与幻觉?

一篇 arXiv 研究评估了提示词扰动对大语言模型偏见与幻觉的影响,发现扰动有时反而能缓解问题,且 Claude 3 比 GPT-3.5 表现更稳定,为可信 AI 部署提供参考。

阅读全文 →
审计LLM裁判:文本转SQL流水线中的评估失效与修复
·6 分钟

审计LLM裁判:文本转SQL流水线中的评估失效与修复

一项arXiv研究审计了生产级文本转SQL流水线中的LLM-as-judge裁判,发现gpt-4o-mini与人类一致性仅0.04,揭示GRADE-HALLUCINATION失效机制,并给出自托管Qwen模型、强裁判集成等修复方案。

阅读全文 →
事实核查分数提升的真相:证据比答案更关键
·5 分钟

事实核查分数提升的真相:证据比答案更关键

一项arXiv研究拆解了事实核查联合分数的改善来源,发现证据替换带来9.61个百分点的严格分数提升,远超答案准确率的1.96个百分点,揭示了聚合指标掩盖声明层面变化的问题。

阅读全文 →