#模型评估

共 6 篇相关文章

一篇 arXiv 研究评估了提示词扰动对大语言模型偏见与幻觉的影响，发现扰动有时反而能缓解问题，且 Claude 3 比 GPT-3.5 表现更稳定，为可信 AI 部署提供参考。

一项arXiv研究审计了生产级文本转SQL流水线中的LLM-as-judge裁判，发现gpt-4o-mini与人类一致性仅0.04，揭示GRADE-HALLUCINATION失效机制，并给出自托管Qwen模型、强裁判集成等修复方案。

一项arXiv研究拆解了事实核查联合分数的改善来源，发现证据替换带来9.61个百分点的严格分数提升，远超答案准确率的1.96个百分点，揭示了聚合指标掩盖声明层面变化的问题。

Anthropic最新模型Claude Mythos Preview在METR基准测试中表现惊人，80%成功率下时间跨度超过次优模型2倍以上，标志着AI Agent能力实现质的飞跃。本文深度解读METR评测指标及其对AI行业竞争格局的影响。

Roo Code推出Arena Mode竞技场模式和Plan Mode计划模式两大新功能。Arena模式支持AI模型盲测对决，Plan模式实现先规划后执行的编程工作流，全面提升AI辅助编程体验。

英国AI安全研究所(AISI)发布GPT-5.5网络安全能力评估报告，结果显示其漏洞发现能力与Claude Mythos相当，但因已向公众开放使用，引发AI安全治理新挑战。本文深入解读评估发现与行业影响。