待验证50% 置信事实精确时间
模型可以拥有约O(N²)量级的参数，却只携带约O(N)量级的跨时间状态，存在容量与记忆的不匹配
1
来源数
50%
置信度
长期有效
时效性
2026/10/6
首次发现
来源
涉及实体
相关事实
待验证对于千亿参数模型，一次完整检查点保存可能涉及数TB数据，包含模型权重和Adam优化器的一阶及二阶矩状态71% 相似已验证大模型推理阶段是memory-bound（内存带宽受限），每生成一个Token需从显存读取整个模型权重，计算强度极低69% 相似待验证自注意力机制的QK^T计算对于序列长度n、隐藏维度d的模型需要O(n²d)次乘加运算68% 相似待验证模型记忆化程度与数据重复次数高度相关，参数量远超训练数据信息熵时模型倾向于记忆而非泛化67% 相似待验证N-gram统计语言模型通过相邻词的条件概率捕捉局部上下文，受限于固定窗口大小，无法处理长距离依赖，参数量随词汇表指数膨胀66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/981668API
curl https://kongchang.com/api/v1/knowledge/claims/981668MCP
get_claim(id=981668)