待验证50% 置信事实精确时间

在大分辨率初始化条件下，对m个任务（每个含n个样本）进行恒定步长梯度下降会产生一个误差为Õ((m∧n)^(-1)+N^(-1))的冻结估计器

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

Softmax注意力如何学会决策阈值：一项理论动力学研究

涉及实体

梯度下降concept

相关事实

待验证错误率下界的第一项(M/N)δ*(B/M)描述模型已见过但因记忆受限而存储不准确的事实的压缩失真73% 相似待验证误差界分解为两项：第一项(m∧n)^(-1)反映有限预训练的精度，第二项N^(-1)反映新上下文的定位能力70% 相似待验证ε预测在大嵌入维度下容易数值不稳定，因为当α_bar_t接近零时缩放系数1/sqrt(α_bar_t)趋于无穷大放大预测误差67% 相似待验证在多步骤任务中单步微小误差会逐步累积形成误差雪球效应，早期步骤错误会污染后续步骤输入上下文64% 相似待验证哈达玛变换可用于LLM超低比特量化的预处理，缓解离群值导致的精度崩溃问题64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/983487

API

curl https://kongchang.com/api/v1/knowledge/claims/983487

MCP

get_claim(id=983487)