概念Test-Time Scaling / 测试时计算扩展
测试时扩展
OpenAI草莓项目提出的概念,在推理阶段分配更多算力以增强模型性能,通过更充分的输出空间搜索来弥补模型参数量不足的局限,可使边缘模型性能媲美云端大模型
核心事实
时间轴 (近 90 天)
11月3日
测试时扩展(Test-Time Scaling)指在推理阶段通过增加计算量(如多次采样、更长CoT、树搜索或投票机制)来提升模型表现的方法。
待验证50%
11月1日
测试时扩展在数学、代码等可验证任务上收益显著,因为额外的计算可以配合验证器筛选出正确答案;但当缺乏可靠验证信号时,更多采样只是在错误分布内反复抽取。
待验证50%
9月11日
传统的并行检索速度快但往往牺牲准确性,而顺序搜索结果更精准却会带来明显延迟
待验证50%
全部知识事实 (6)
已验证
推理时计算扩展(Test-time Compute Scaling)通过在推理阶段投入更多计算资源来提升模型性能,研究表明在某些任务上比单纯增大模型参数更加高效
90%已验证推理时计算扩展通过延长思维链、多路径采样择优、自我验证反思等方式在推理阶段投入更多计算可提升复杂推理任务性能
65%已验证推理时计算在模型参数固定的前提下,通过在推理阶段投入更多计算资源来改善输出质量
65%待验证测试时扩展(Test-Time Scaling)指在推理阶段通过增加计算量(如多次采样、更长CoT、树搜索或投票机制)来提升模型表现的方法。
50%待验证测试时扩展在数学、代码等可验证任务上收益显著,因为额外的计算可以配合验证器筛选出正确答案;但当缺乏可靠验证信号时,更多采样只是在错误分布内反复抽取。
50%待验证传统的并行检索速度快但往往牺牲准确性,而顺序搜索结果更精准却会带来明显延迟
50%