[KongchangAI]
ModelStructured State Space

S4

结构化状态空间序列模型,早期代表性SSM架构,通过HiPPO初始化对矩阵A施加特殊结构,实现对长程依赖的高效捕获,是Mamba等后续工作的基础

Timeline (last 90 days)

Oct 6

早期SSM如S4通过对矩阵A施加HiPPO初始化来高效捕获长程依赖,同时保持线性递推的推理效率

Unverified50%
Aug 25

Gu等人在2021年的HiPPO和S4工作中将状态空间模型引入深度学习,开创了结构化状态空间模型研究方向

Unverified50%

All Facts (2)

Source Articles