[控场AI]
基准废话基准

Neural Yap

一个用于量化AI模型输出冗余程度(废话多少)的自建基准,从话术短语、排版符号、格式结构和回答长度四个维度评分,分数越低表示模型越简洁

时间轴 (近 90 天)

10月28日

作者自建了一个名为 Neural Yap 的基准,专门量化AI模型回答的废话程度,分数越低表示越不废话。

待验证50%
10月28日

Neural Yap 基准的评分体系拆成四类:话术短语、排版符号、格式结构、回答长度。

待验证50%
10月28日

第一版 Neural Yap 基准结果显示,GPT 系列模型废话最少(排名最低),而 Claude Opus 5.5 是废话最多的模型。

待验证50%
10月28日

Neural Yap 的 lexicon 目录用 Markdown 定义惩罚模式和短语,lexicon.py 将这些规则转成正则表达式。

待验证50%
10月28日

Neural Yap 的正则表达式由 Claude 辅助编写,而非作者手写。

待验证50%
10月28日

Neural Yap 的长度惩罚规则定义词数预算:编程类示例允许250词,事实性快问快答最多50词,超出则按长度扣分。

待验证50%
10月28日

Neural Yap 使用 inspect AI 框架跑批,runs 目录下的 YAML 文件列出待测模型,新增模型时只跑新模型并复用已有结果。

待验证50%
10月28日

Neural Yap 基准不惩罚模型思考链中的冗长内容。

待验证50%
10月28日

Neural Yap 目前是 0.1 版,仓库暂时私有,理由是防止 AI 拿到后针对性刷分。

待验证50%

全部知识事实 (9)

来源文章