待验证50% 置信事实时间未知

Research shows that the same base LLM model can vary by 30-50 percentage points in performance under different system prompts.

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Deep Dive into Hermes Agent Self-Evolution: The GIPA Algorithm and Engineering Practice

bilibili探索未至之境

相关事实

待验证同一个基座模型在不同系统提示词下的表现差异可以高达30-50个百分点79% 相似待验证研究表明，针对同一任务，经过优化的Prompt相比随意输入可将模型输出质量提升30%-50%71% 相似待验证研究表明，即使在 GSM8K 或 MATH 数据集上接近满分的模型，面对稍作变形或需要跨领域组合的问题时性能下降可达30-50个百分点71% 相似待验证LLM新模型的平均评估指标可能优于旧模型，但会在小众关键场景中出现退化70% 相似待验证同一套系统提示在不同模型上的效果差异可能超过30%，这是商业Harness需要针对每个模型单独维护提示版本的原因69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/55461

API

curl https://kongchang.com/api/v1/knowledge/claims/55461

MCP

get_claim(id=55461)