待验证50% 置信事实精确时间

随着模型层数增加，Attention和FFN的参数占比会大幅上升，而Embedding占比逐渐降低

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

从零手撸Transformer：核心架构与PyTorch代码实战

涉及实体

Transformerconcept

相关事实

待验证过度膨胀的上下文会稀释模型注意力、抬高推理成本，甚至引入噪声导致幻觉69% 相似待验证当前最前沿模型在处理长程依赖时面临注意力衰减问题，随着上下文长度增加，维持早期设定一致性的能力显著下降69% 相似待验证上下文污染会导致模型注意力分散、响应质量下降、费用失控69% 相似待验证数据规模的增长并不等同于有效学习信号的增长，在模型能力提升到一定阈值后简单堆砌样本的收益会急剧下降68% 相似待验证Prompt中token数量过多会稀释注意力机制的聚焦能力，降低每个描述的实际影响力68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/904294

API

curl https://kongchang.com/api/v1/knowledge/claims/904294

MCP

get_claim(id=904294)