#基准测试
共 102 篇相关文章

RefCraft基准:视觉参考驱动的AI网页生成仅52分
RefCraft基准包含300个多模态网页开发任务,要求AI智能体结合自然语言指令和参考截图生成网页。九大前沿模型测试中最高分仅52.12,揭示视觉参考条件化生成的挑战。

AI Agent评估新趋势:方法、挑战与生态全解析
解读AI Agent评估新趋势论文:梳理静态基准、交互式评估与人类反馈三大方法,分析评估生态中的角色分歧,并为开发者提供构建评估流水线的实用建议。

RuneScape Bench:用MMO测试AI智能体的真实能力
RuneScape Bench提出用MMORPG作为AI智能体的评测基准,通过长程规划、开放世界探索和玩家经济系统,检验智能体在复杂环境中的真实决策能力,引发对智能体评测新维度的讨论。

实测Jev对比三款廉价模型:成本优势没那么大
独立开发者同场对比Jev 1.13、Mistral Small 3.2、Gemini 2.5 Flash Lite与GPT-5 nano:Jev成本优势仅1.4-1.7倍,准确率未胜出,并公开两条测试更正。

HotKV语义缓存实测:Claude token成本降70%的真相
HotKV在Banking77基准上实测Claude语义缓存:四个模型调用与成本降约70%,但答案质量有2-3个百分点的折损,语义缓存适用边界与阈值选择是落地关键。

LLM评测基准如何产出可比分数:拆解LFORLA机制
LFORLA的LLM评测基准通过固定提示词、固定评审、按维度评分和公开逐字记录,让不同模型的分数具备可比性。本文拆解其机制,并给出阅读排行榜的实操检查清单。

Gemini 4 Argon实测:哪些任务超越Claude与GPT?
Gemini 4 Argon 多模态输入与长上下文能力实测对比 Claude、GPT:Vibe Code Bench 微弱领先,终端与工程任务落后,附价格与选型建议。

DeepSeek V4.1-Flash发布:代理成本骤降,性能宣称待验证
DeepSeek发布V4.1-Flash-1017开源模型,宣称DeepSWE编码基准达77%且每任务成本不足0.20美元,价格可查但性能分数尚未被独立复现,本文梳理可验证与待验证的关键信息。

一次基准测试暴露的访问控制Bug:修复后F1达0.984
schemagate访问控制层在Spider-ACL基准测试中暴露正则大小写Bug,修复后拒绝F1达0.984,零未授权读取。作者分享用外部基准测试发现自建测试盲区的经验。

DeepSeek V4.1-Flash实测:基准测试对比Opus 5与GLM-5.3
DeepSeek V4.1-Flash-1017 在 Terminal-Bench 4.0 上提升 11 分且价格不变。本文对比 Opus 5、K3、GLM-5.3 的能力定位与性价比,分析终端任务场景下的切换时机与迁移成本,给出务实选型建议。

Jev Router登顶背后:118次调用117次指向GPT-6.1 Sol
Jev Router在Forge 2.0基准测试中登顶,但118次调用有117次指向GPT-6.1 Sol,而Sol单独参赛仅排第三。本文拆解路由器的真实行为、基准测试的统计噪声、成本陷阱,以及如何用OpenRouter API验证路由器到底跑了什么模型。

AI编程基准测试的谎言:分数背后隐藏了什么
AI编程基准测试分数存在系统性失真:同一模型同一基准可相差28分,席位价格远非真实成本。本文分析基准测试的局限性、成本陷阱,并给出开发者务实评估AI编程助手的方法。

腾讯Hy Memory实测:写入模型决定记忆成败
实测腾讯Hy Memory 2.0在LongMemEval基准上的表现:用廉价写入模型仅答对43%,用Claude Opus写入可追平无LLM方案但成本高达每用户5美元。深入分析记忆系统写入质量与成本的核心权衡。

ClaimScope:不看标签的见证验证,让数学命题审计更可靠
ClaimScope 是一个 72 任务的数学命题审计基准,用标签盲见证检查器验证反例与修复方案。实验显示验证器反馈提升反例接受率至 23/39,但 verdict 准确率基本不变,收益主要来自见证结构修正。

Gemini 4 Argon 对比 GPT-6 Astra:19项基准测试深度解析
Gemini 4 Argon 在 19 项官方基准测试中以 14 胜 4 负 1 平击败 GPT-6 Astra,但 GPT-6 包揽所有终端类测试胜利。深度解析知识工作、长上下文、编程与计算机操作各维度的真实差距,给出选型建议。

Gemini 4 Argon vs Claude Opus 5.5:18项基准测试深度对比
Gemini 4 Argon 与 Claude Opus 5.5 在 18 项基准测试中展开全面对决:Argon 以 14:4 胜出,但 Opus 5.5 在终端工程场景中占据明显优势。本文逐项分析各维度得分差异,并提供基于工作场景的选型建议。

Datalab开源OmniParseBench:16288项OCR测试审计文档解析器
Datalab 发布开源 OCR 基准 OmniParseBench,包含 16288 项判题测试,覆盖 2937 个页面、92 种语言。通过率可按标签、脚本或语言切片,让文档解析器的评测结果真正可审计、可复现。

中国开源模型仅落后美国闭源7个月:AI竞赛格局生变
基于whatmodel.sh开源AI排行榜数据:中国开源权重模型在文本能力上仅落后美国闭源模型约7个月。该榜单汇总22,113个基准测试结果,77%来自独立评估,为中美AI竞赛提供了可追溯的量化视角。

Meta Muse Wonder 跑分逼近第一,为何市场只给1%?
Meta 发布首批前沿模型 Muse Wonder 和 Wonder Full,Artificial Analysis 得分 52/56 分逼近 Claude Opus 5.5,但 Polymarket 仅给 1% 概率。本文分析基准测试、产品限流、Muse 智能体隐私争议以及从业者的分裂态度。

Agentic Commerce 新基准:商家侧的 AI 购物准备好了吗?
论文提出面向商家侧的 Agentic Commerce 就绪度基准,围绕访问、决策充分性与举证三问展开。四家大商家实测无一能确认买家委任达成,555 站点普查中 18.9% 首页对声明式 agent 不可读,330 家评估里仅 35% 达到可排名阈值,全部费用合计是最大短板。