[控场AI]

#基准测试

共 102 篇相关文章

DaisyRose-27B:1,200任务RL将Qwen3.8在Terminal-Bench 4.1上的得分从5.6%提升至12%
·4 分钟

DaisyRose-27B:1,200任务RL将Qwen3.8在Terminal-Bench 4.1上的得分从5.6%提升至12%

DaisyRose-27B项目通过1,200个任务的强化学习训练,将Qwen3.8在Terminal-Bench 4.1基准上的得分从5.6%提升至12%,翻倍以上的相对提升展示了轻量RL在终端任务上的有效性,为中小团队提供了可复现的模型调优思路。

阅读全文 →
Qwen 4 Max预览版发布:实测数据矛盾,官方基准缺失
·6 分钟

Qwen 4 Max预览版发布:实测数据矛盾,官方基准缺失

Qwen 4 Max Preview于11月11日发布,官方未公布基准分数。ModelDial独立测试得分78.8排名第14,GameFeel维护者称其表现不如老款Qwen。本文分析测试矛盾、CoDuck插曲、技术线索与开源权重缺席问题。

阅读全文 →
Qwen 4 Max预览版实测:百万上下文与基准争议
·9 分钟

Qwen 4 Max预览版实测:百万上下文与基准争议

Qwen 4 Max Preview 实测汇总:百万上下文、39.3万输出token与80%折扣下的成本优势,对比GameFeel RE基准低分、外部框架兼容性和3D导航短板。

阅读全文 →
高分代码模型并未提升实际产出:一项自然实验的启示
·5 分钟

高分代码模型并未提升实际产出:一项自然实验的启示

一项自然实验追踪297名开发者发现,SWE-Bench Pro得分高11分的Claude Fable 5并未显著提升PR合并率,基准分数与真实生产力脱节。研究覆盖1900余名开发者,为AI编程工具评估提供新视角。

阅读全文 →
LLM交易代理的真相:财报与坏消息后的Alpha来自记忆而非推理
·5 分钟

LLM交易代理的真相:财报与坏消息后的Alpha来自记忆而非推理

新研究构建无前视基准测试LLM交易代理在财报公告前和坏消息暴跌后的表现,发现没有代理能战胜简单策略,唯一优势来自训练数据记忆,GPT模型在训练截止前方向判断准确率59.2%,截止后降至53.3%。

阅读全文 →
Genie基准测试:企业数据任务通过率91%背后的业务上下文之争
·4 分钟

Genie基准测试:企业数据任务通过率91%背后的业务上下文之争

Genie与两个前沿智能体在企业数据任务基准中对比:Genie通过率91%,对手为45%和58%,且token用量不到一半、速度快3–4倍。核心差异在于业务上下文检索,而非SQL语法。

阅读全文 →
GPT-6.2 Astra 在 ARC-AGI-3 上拿下 100% 满分
·2 分钟

GPT-6.2 Astra 在 ARC-AGI-3 上拿下 100% 满分

GPT-6.2 Astra 在 ARC-AGI-3 基准上取得 100% 满分,引发对 AI 抽象推理能力的关注。本文分析该成绩的含金量、版本命名信号,以及评测信息缺失与社区反应偏冷带来的不确定性。

阅读全文 →
dhAIBench:用293次实验重新定义大模型语言标注评测
·4 分钟

dhAIBench:用293次实验重新定义大模型语言标注评测

查尔斯大学团队推出dhAIBench,一个记录提示词、配置与预测的Python语言标注评测框架。通过48个模型、九个任务、293次实验证明:大模型评测应针对具体语言任务,而非依赖通用排名。

阅读全文 →
LoCoMo分数波动揭秘:记忆上下文、回答提示与评判者的影响
·3 分钟

LoCoMo分数波动揭秘:记忆上下文、回答提示与评判者的影响

研究揭示LoCoMo基准分数受评判者和回答提示影响显著,仅更换评判者波动7.2分,提示词差异达9.3分。Becos记忆系统在弱模型上表现优异,但在强模型上优势消失,呼吁评估透明化。

阅读全文 →
能量模型CRAM:推理速度超循环模型千倍
·3 分钟

能量模型CRAM:推理速度超循环模型千倍

新研究提出CRAM能量模型,在数独和迷宫任务上训练速度比循环模型快至少1000倍,推理FLOPs减少282倍,并警示简单基准的局限性。

阅读全文 →
QSim-Arena:AI智能体如何重塑量子模拟优势评估
·4 分钟

QSim-Arena:AI智能体如何重塑量子模拟优势评估

QSim-Arena 是一个利用 AI 智能体闭环验证与开放探索的研究框架,旨在将量子模拟优势评估转变为持续演进、可复现的过程,应对经典方法快速追赶的挑战。

阅读全文 →
602个视觉模型跨5款GPU实测:性能差异全解析
·4 分钟

602个视觉模型跨5款GPU实测:性能差异全解析

Reddit分享的大规模基准测试覆盖602个视觉模型与5款GPU,揭示模型架构与硬件配置的交互影响,为视觉模型部署选型提供跨硬件性能参考。

阅读全文 →
Continual-ARC:终身学习新基准,揭示AI技能习得的真实瓶颈
·4 分钟

Continual-ARC:终身学习新基准,揭示AI技能习得的真实瓶颈

Continual-ARC是一个基于ARC-AGI的终身学习基准,通过反馈预算和冻结后测试,公平比较记忆与权重学习。实验发现harness持久化难以提升记忆,缓存基线仍难超越,而权重学习在泛化上优势明显。

阅读全文 →
一条整数序列就能指纹识别大模型?NumPrint基准发布
·4 分钟

一条整数序列就能指纹识别大模型?NumPrint基准发布

论文提出NumPrint基准,用单条固定长度整数序列识别语言模型身份。SMCT模型在51类闭集评估中单序列准确率达92.72%,两条和四条答案分别提升至96.06%和97.12%。

阅读全文 →
实测TimesFM 3.0、Chronos-2、Toto 2.0:时序大模型跑不赢简单基线
·4 分钟

实测TimesFM 3.0、Chronos-2、Toto 2.0:时序大模型跑不赢简单基线

开发者零样本实测TimesFM 3.0、Chronos-2和Toto 2.0在24只美股及ETF上的预测表现,方向准确率仅49.9%-51.1%,模拟交易跑输买入持有策略,时序基础模型在金融数据上未展现超越简单基线的能力。

阅读全文 →
Infrathon基准:AI智能体长周期优化真实基础设施
·4 分钟

Infrathon基准:AI智能体长周期优化真实基础设施

Infrathon基准评估语言智能体在真实AI基础设施上的长周期优化能力,发现模型排名随评估周期变化,智能体可超越人类设计基线,并揭示任务违规、测试不可靠等持续改进障碍。

阅读全文 →
CHO-Bench:上下文提示如何影响LLM广告排名?
·5 分钟

CHO-Bench:上下文提示如何影响LLM广告排名?

CHO-Bench将LLM广告中的上下文提示设计定义为优化问题,通过超119万次配对评估发现:上下文提示能提升广告排名,但嵌入与LLM排序器偏好不同信息维度,且提示预算存在边际递减。

阅读全文 →
RealEmbedBench:大模型在嵌入式应用层开发中的真实表现
·3 分钟

RealEmbedBench:大模型在嵌入式应用层开发中的真实表现

RealEmbedBench 基准包含 5,142 个样本,评估大语言模型在嵌入式应用层代码生成、状态机建模与跨系统翻译中的真实表现,揭示上下文影响与翻译方向性差异。

阅读全文 →