Neural Yap
一个用于量化AI模型输出冗余程度(废话多少)的自建基准,从话术短语、排版符号、格式结构和回答长度四个维度评分,分数越低表示模型越简洁
时间轴 (近 90 天)
作者自建了一个名为 Neural Yap 的基准,专门量化AI模型回答的废话程度,分数越低表示越不废话。
Neural Yap 基准的评分体系拆成四类:话术短语、排版符号、格式结构、回答长度。
第一版 Neural Yap 基准结果显示,GPT 系列模型废话最少(排名最低),而 Claude Opus 5.5 是废话最多的模型。
Neural Yap 的 lexicon 目录用 Markdown 定义惩罚模式和短语,lexicon.py 将这些规则转成正则表达式。
Neural Yap 的正则表达式由 Claude 辅助编写,而非作者手写。
Neural Yap 的长度惩罚规则定义词数预算:编程类示例允许250词,事实性快问快答最多50词,超出则按长度扣分。
Neural Yap 使用 inspect AI 框架跑批,runs 目录下的 YAML 文件列出待测模型,新增模型时只跑新模型并复用已有结果。
Neural Yap 基准不惩罚模型思考链中的冗长内容。
Neural Yap 目前是 0.1 版,仓库暂时私有,理由是防止 AI 拿到后针对性刷分。
全部知识事实 (9)
作者自建了一个名为 Neural Yap 的基准,专门量化AI模型回答的废话程度,分数越低表示越不废话。
50%待验证Neural Yap 基准的评分体系拆成四类:话术短语、排版符号、格式结构、回答长度。
50%待验证第一版 Neural Yap 基准结果显示,GPT 系列模型废话最少(排名最低),而 Claude Opus 5.5 是废话最多的模型。
50%待验证Neural Yap 的 lexicon 目录用 Markdown 定义惩罚模式和短语,lexicon.py 将这些规则转成正则表达式。
50%待验证Neural Yap 的正则表达式由 Claude 辅助编写,而非作者手写。
50%待验证Neural Yap 的长度惩罚规则定义词数预算:编程类示例允许250词,事实性快问快答最多50词,超出则按长度扣分。
50%待验证Neural Yap 使用 inspect AI 框架跑批,runs 目录下的 YAML 文件列出待测模型,新增模型时只跑新模型并复用已有结果。
50%待验证Neural Yap 基准不惩罚模型思考链中的冗长内容。
50%待验证Neural Yap 目前是 0.1 版,仓库暂时私有,理由是防止 AI 拿到后针对性刷分。
50%