待验证50% 置信事实精确时间
RetNet、RWKV等将Transformer改造为循环形式以降低推理时的显存驻留需求
1
来源数
50%
置信度
长期有效
时效性
2026/9/21
首次发现
来源
涉及实体
相关事实
待验证Recurrent Looped Transformer提出让模型的部分层结构以循环方式反复调用，在不增加参数量的前提下提供可变的思考深度73% 相似待验证Reviser是一个仅含解码器（decoder-only）的Transformer，将生成回复的过程定义为在可变画布上执行一系列相对光标的动作68% 相似待验证Unsloth通过手动重写Transformer核心算子的反向传播过程避免PyTorch自动微分引入的额外显存开销，在反向传播时重新计算中间激活值而非缓存68% 相似已验证Transformer架构以多头自注意力机制完全取代循环结构，消除顺序计算瓶颈并解决长距离依赖问题68% 相似待验证提示词缓存依赖Transformer的KV缓存机制，通过复用相同前缀已计算的KV向量跳过重复计算，节省GPU算力并降低首Token延迟67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/938980API
curl https://kongchang.com/api/v1/knowledge/claims/938980MCP
get_claim(id=938980)