待验证50% 置信事实精确时间

实验在模 97 的模加法任务上训练一个小型 MLP，训练集仅占 35%，使用全批量训练，共 20k 步。

1

来源数

50%

置信度

长期有效

时效性

2026/10/26

首次发现

来源

PBT并非加速grokking，而是逃离超参数死区

涉及实体

模加法任务concept MLPmodel

相关事实

待验证训练采用256的上下文长度、微批次为16，并配合梯度累积，主训练过程峰值内存为1.54 GiB76% 相似待验证MDT的整个训练过程在单块GPU上不到20分钟即可完成73% 相似待验证CWAA的实验仅有5000个训练步和10M参数规模，无法证明其在大规模长训练下的表现73% 相似待验证训练使用 batch 256、40 万步、EMA 0.9999、最后四分之一线性衰减学习率，torch.compile 相比 eager 提速 2.4×72% 相似待验证后训练成本仅为从零开始训练大模型成本的1-5%，但能在目标任务上获得20-50%的性能提升72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1099229

API

curl https://kongchang.com/api/v1/knowledge/claims/1099229

MCP

get_claim(id=1099229)