待验证50% 置信事实精确时间

近年来Mamba、RWKV等状态空间模型和线性RNN兴起，试图规避Transformer在长上下文下的二次方复杂度瓶颈

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

PLUG与ILRM：用调和级数替代注意力机制解决RNN长序列建模难题

涉及实体

Mambaproduct RWKVproduct Transformerconcept

相关事实

待验证Mamba 等状态空间模型试图从架构层面解决长上下文的效率瓶颈76% 相似待验证Mamba等状态空间模型（SSM）是时间递归与自注意力之间的折衷尝试，但推理能力仍与Transformer存在差距72% 相似已验证Transformer克服了RNN/LSTM架构因顺序计算导致的长距离依赖衰减问题，同时天然支持并行计算66% 相似待验证Substack作者分析指出，Mamba若要在长序列上维持表达能力，可能必须让表示空间以二次方式增长，从而在参数维度上重新遭遇二次需求65% 相似待验证业界持续探索线性注意力、稀疏注意力及状态空间模型（如Mamba）等替代架构以应对长上下文瓶颈65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/902257

API

curl https://kongchang.com/api/v1/knowledge/claims/902257

MCP

get_claim(id=902257)