待验证50% 置信事实精确时间

门控线性注意力结构已在语言模型领域有 RetNet、GLA Transformer 等实现验证

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

GTR-Depth：单摄像头实现2.7ms毫秒级米制深度估计

涉及实体

RetNetmodel GLA Transformermodel

相关事实

待验证Transformer模型的注意力机制使模型能够在长达数千Token的上下文窗口内追踪对话语义，而早期LSTM模型受限于固定窗口的短期记忆74% 相似待验证LLM在架构层面采用Transformer的注意力机制，每次推理在当前上下文窗口内独立完成，不存在跨会话的持久化状态69% 相似待验证基于Transformer的LLM每次推理都是独立的前向传播计算，模型权重在推理阶段固定不变，所谓的上下文记忆本质上是将历史对话文本重新注入提示词68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/971176

API

curl https://kongchang.com/api/v1/knowledge/claims/971176

MCP

get_claim(id=971176)