待验证50% 置信事实精确时间
RULER是专为评估长上下文模型能力设计的基准测试集,涵盖单跳多跳检索、问答、摘要及逐字拷贝等任务,通常在16K至128K上下文长度下评测
1
来源数
50%
置信度
长期有效
时效性
2026/10/8
首次发现
来源
涉及实体
相关事实
待验证专业的推理基准测试需要精确控制请求到达模式、并发级别、输入输出长度分布等变量71% 相似待验证RULER是2024年由NVIDIA研究团队提出的长上下文评估基准,包含13个合成任务,分为NIAH、Variable Tracking、Common/Frequent Words Extraction及基于SQuAD/HotpotQA的问答四大类71% 相似待验证测试效果不理想时应遵循单变量控制,按提示词→输出格式→样本示例→工具描述→记忆的顺序逐级排查68% 相似待验证性能测试关注系统在负载压力下的响应时间、吞吐量、并发用户数及资源占用率等指标,代表工具有JMeter、Locust66% 相似待验证AttSVD的测试覆盖了一个智能体基准和完整的LongBench长上下文评测套件66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/986761API
curl https://kongchang.com/api/v1/knowledge/claims/986761MCP
get_claim(id=986761)