[控场AI]

#基准测试

共 102 篇相关文章

ArtificialAnalysis是否对开源模型有偏见?
·3 分钟

ArtificialAnalysis是否对开源模型有偏见?

Reddit用户质疑ArtificialAnalysis对开源权重模型存在偏见,通过重新校准基准测试压低开源模型排名,并推广智能指数误导企业选型。讨论涉及基准测试透明度与公平性。

阅读全文 →
Kumo、Nori、Chronos-2与LGBM:电价预测基准测试
·6 分钟

Kumo、Nori、Chronos-2与LGBM:电价预测基准测试

一项针对德国日前电价的基准测试,比较Kumo、Nori、Chronos-2、TimesFM-3与调优LightGBM、CatBoost在零样本条件下的预测表现,探讨表格基础模型的数据泄漏风险与额外训练数据对传统ML基线的影响。

阅读全文 →
XStack基准:ML代码跨框架迁移的试金石
·4 分钟

XStack基准:ML代码跨框架迁移的试金石

XStack是一个评估智能体在PyTorch与JAX生态间迁移ML代码库的基准。Claude Opus 5通过率75%,GPT-5.6-sol 45%,其他智能体至多40%。了解这一跨框架迁移挑战的细节与意义。

阅读全文 →
LLM助手的时间安全盲区:算出时间≠会应用,TASC基准揭示30.5%合规率
·4 分钟

LLM助手的时间安全盲区:算出时间≠会应用,TASC基准揭示30.5%合规率

TASC基准评估13个LLM助手的时间约束应用能力:违规建议中仅30.5%考虑了时间限制,62.1%的失败源于算出时间却不应用,显式提供时间信息仅能修复约一半问题。

阅读全文 →
LLM不知道自己知道什么:金融回测的时间边界困境
·6 分钟

LLM不知道自己知道什么:金融回测的时间边界困境

FinDendro基准测试揭示:大语言模型的自我知识报告严重低估真实知识,GPT-5答对76%却仅声称知道38%。厂商截止日期、模型自述与日期指令均无法保证金融回测无数据泄漏,行为化测量成为划定可信回测窗口的新路径。

阅读全文 →
FlowReconBench:稀疏传感器流场重建,学习模型与经典方法谁更强?
·5 分钟

FlowReconBench:稀疏传感器流场重建,学习模型与经典方法谁更强?

FlowReconBench基准测试评估十种学习方法和五种经典方法在稀疏传感器流场重建中的表现。经典方法在低阶稠密传感场景领先,学习方法在稀疏传感和低可观测性时占优,校准与成本指标给出不同排名。

阅读全文 →
FrontierPhysics:物理研究智能体的端到端评估新基准
·3 分钟

FrontierPhysics:物理研究智能体的端到端评估新基准

FrontierPhysics是由42位物理学家构建的端到端物理研究基准,包含56个覆盖理论、计算与实验物理的任务。测试显示22个模型26种配置无一能通过超过46/168次运行,主要短板在于推理严谨性与专家直觉不足。

阅读全文 →
TandemBench:多智能体协作决策模型基准
·2 分钟

TandemBench:多智能体协作决策模型基准

TandemBench 基准包含 1,200 个多智能体烹饪场景问题,评估决策模型在团队计划选择与最优性验证上的表现。最佳原生模型决策准确率 62.50%,但在最优性验证上接近随机水平,揭示系统性判断偏差。

阅读全文 →
Lakebase Search向量检索基准测试:缓存与索引匹配是关键
·3 分钟

Lakebase Search向量检索基准测试:缓存与索引匹配是关键

Lakebase Search在1M至4M段落规模上基准测试向量搜索性能,发现缓存与向量索引规模匹配比行数更关键,缓存匹配时95–98%页面读取避开存储,热查询p50延迟保持低位。

阅读全文 →
ViBench 2.0发布:长周期软件构建基准,顶尖模型通过率不足65%
·3 分钟

ViBench 2.0发布:长周期软件构建基准,顶尖模型通过率不足65%

ViBench 2.0发布,专注长周期软件构建基准测试。智能体从空项目逐步构建完整产品,顶尖模型GPT-6.1 Sol、GPT-6 Astra、Opus 5.5全部检查通过率仅49-65%,揭示长周期构建的能力鸿沟。

阅读全文 →
KierstonBench:大模型刑侦调查能力基准测试
·4 分钟

KierstonBench:大模型刑侦调查能力基准测试

KierstonBench是一个基于阿伦敦城市级模拟的基准,用32个任务家族评估语言模型在犯罪调查与监控中的记录链接、轨迹重建与欺骗识别能力,十六款模型测试显示多数无法胜任。

阅读全文 →
Carbon模型基准测试亮眼:高性能与低成本兼得
·3 分钟

Carbon模型基准测试亮眼:高性能与低成本兼得

Carbon模型在基准测试中展现高质量表现,并突出其成本线优势,高性能与低成本兼得引发AI社区关注。

阅读全文 →
NitiBench+:泰国法律问答基准如何解决法律时效性难题
·5 分钟

NitiBench+:泰国法律问答基准如何解决法律时效性难题

NitiBench+是覆盖17个领域的泰国法律问答基准,通过同时保留判决当日法与现行法文本,量化法律时效性对模型表现的影响。研究发现67%的判决引用已变更法律,错误文本导致Bar标准分显著下降,最佳模型仅得7.78分。

阅读全文 →
LLM编程智能体的“有害成功”:准确率95%背后的安全隐忧
·4 分钟

LLM编程智能体的“有害成功”:准确率95%背后的安全隐忧

VeriHarm-Bench提出“有害成功”概念,直击LLM编程智能体在完成良性任务时造成意外伤害的盲区。前沿智能体任务准确率高达95%,但安全成功率平均仅37%,揭示任务成功指标可能严重低估安全风险。

阅读全文 →
双轴政策蕴涵基准DAPE:政策变迁推理新范式
·4 分钟

双轴政策蕴涵基准DAPE:政策变迁推理新范式

DAPE基准提出双轴政策蕴涵评估方法,通过二元与五元判断识别政策延续、拓宽、收窄或逆转。包含1000个专家标注政策对,前沿模型零样本表现不佳,微调开源模型接近人类水平。

阅读全文 →
Jev AI在6项基准测试中5项匹敌或超越LLM:延迟与成本优势显著
·3 分钟

Jev AI在6项基准测试中5项匹敌或超越LLM:延迟与成本优势显著

Jev AI在6项基准测试中5项匹敌或超越LLM Luna,仅在银行业意图分类上落后。其在护栏测试(提示注入、毒性检测)中表现突出,且延迟与成本优势显著,为实时应用提供高性价比选择。

阅读全文 →
3DCodeEdit基准:指令驱动3D程序编辑,最强模型成功率不足60%
·3 分钟

3DCodeEdit基准:指令驱动3D程序编辑,最强模型成功率不足60%

3DCodeEdit基准包含2,592个指令引导的3D程序编辑任务,覆盖108个Blender程序。17个模型平均成功率仅37%,最强模型在结构编辑上不足60%。多轮反馈可显著提升表现,27B模型借助审查反馈超越2.8T参数模型。

阅读全文 →
翻译基准测试能替代母语评测吗?MMLU代理有效性研究
·3 分钟

翻译基准测试能替代母语评测吗?MMLU代理有效性研究

研究对比DeepL翻译MMLU与六个母语基准,发现翻译基准的代理有效性取决于内容重叠度:课程型基准可预测,本地事实知识则难以捕捉,为非英语大模型评测提供方法警示。

阅读全文 →