Scientific Agents
一个开源语料库，包含503份职业专属的AGENTS.md画像文件，用于评估职业化系统提示词对AI科学推理任务的影响
时间轴 (近 90 天)
一篇arXiv研究评估了名为Scientific Agents的开源语料库，其中包含503份职业专属的AGENTS.md画像文件
研究结论是对于被测试的模型和任务，默认加载完整职业画像既不提升准确率，还显著抬高成本
研究将匹配的职业画像与四种对照条件（极简基线、角色开场句、通用科学严谨性指南、跨领域错配画像）进行横向比较
评测覆盖九个基于文本的科学基准，抽样4531道题目、100份匹配画像，其中4488项完整跑完全部五种条件
职业画像相对极简基线的平均准确率差异为-0.6个百分点，95%自助法区间为[-1.5, +0.2]
匹配画像产生的输出token数量是基线的1.5至2.3倍，每次成功调用的成本高达基线的2.2至4.5倍
在BioMysteryBench生物信息学任务上，使用职业画像的平均解题率为46.7%，极简基线达到56.7%，差距为-10.0个百分点（95%区间[-16.7, -3.3]）
在SuperGPQA基准上，极简基线仅在54.0%题目上首轮正确，职业画像达到71.6%，但该优势来自提示词长度或格式而非领域专业知识
研究结论基于特定模型Gemini 3.8 Flash与封闭式评测任务，是否选择性检索画像部分章节或面对开放式科学任务会改变结论仍有待验证
在为提示词增加复杂度之前应先用受控实验证明其有用性，默认堆砌职业画像会放大token消耗与成本
全部知识事实 (10)
一篇arXiv研究评估了名为Scientific Agents的开源语料库，其中包含503份职业专属的AGENTS.md画像文件
50%待验证研究结论是对于被测试的模型和任务，默认加载完整职业画像既不提升准确率，还显著抬高成本
50%待验证研究将匹配的职业画像与四种对照条件（极简基线、角色开场句、通用科学严谨性指南、跨领域错配画像）进行横向比较
50%待验证评测覆盖九个基于文本的科学基准，抽样4531道题目、100份匹配画像，其中4488项完整跑完全部五种条件
50%待验证职业画像相对极简基线的平均准确率差异为-0.6个百分点，95%自助法区间为[-1.5, +0.2]
50%待验证匹配画像产生的输出token数量是基线的1.5至2.3倍，每次成功调用的成本高达基线的2.2至4.5倍
50%待验证在BioMysteryBench生物信息学任务上，使用职业画像的平均解题率为46.7%，极简基线达到56.7%，差距为-10.0个百分点（95%区间[-16.7, -3.3]）
50%待验证在SuperGPQA基准上，极简基线仅在54.0%题目上首轮正确，职业画像达到71.6%，但该优势来自提示词长度或格式而非领域专业知识
50%待验证研究结论基于特定模型Gemini 3.8 Flash与封闭式评测任务，是否选择性检索画像部分章节或面对开放式科学任务会改变结论仍有待验证
50%待验证在为提示词增加复杂度之前应先用受控实验证明其有用性，默认堆砌职业画像会放大token消耗与成本
50%