待验证50% 置信事实精确时间
循环外提优化使纯波与注意力的延迟差距从2.48倍缩小到1.12倍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证标准注意力的计算量随序列长度平方增长，而低秩瓶颈将变换分解为先压缩到r维再展开的两步72% 相似待验证TIDE的reduce-scatter SM时间减少为原来的1/12.5至1/14.5，与并发计算的干扰最多降低一个数量级。71% 相似待验证上下文超过128K之后推理速度会大幅下降，原因是KV缓存体积膨胀及注意力计算时间复杂度随序列长度平方级增长70% 相似待验证该模型使用双向注意力编码器架构，一次前向计算完成，延迟是常数级的，不随内容长度线性增长69% 相似已验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115533API
curl https://kongchang.com/api/v1/knowledge/claims/1115533MCP
get_claim(id=1115533)