待验证50% 置信事实精确时间
SR-SWA 约束的是参考 token 的活跃容量,而普通滑动窗口注意力通常作用于相邻 token 的位置窗口。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证在自回归解码中,注意力层通常缓存所有历史 token 的 Key 和 Value(KV Cache),显存随序列长度线性增长,但每步只需追加、无需重算;SSM 层则只保留固定大小的状态。67% 相似待验证SWA 有界重放指在滑动窗口注意力机制下对窗口外历史上下文进行有界长度的重放或保留,以在有限显存与计算预算内维持长上下文的一致性。66% 相似待验证RAG(检索增强生成)能够有效缓解LLM上下文窗口有限及知识截止日期的固有局限59% 相似待验证DLM 有效引导取决于控制 token 内容与其放置位置之间的兼容性;不匹配的锚点会干扰生成能力。59% 相似已验证当前LLM的记忆主要受限于上下文窗口,无法真正跨越多次独立对话保留信息59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1113981API
curl https://kongchang.com/api/v1/knowledge/claims/1113981MCP
get_claim(id=1113981)