ConceptHiPPO初始化 / High-order Polynomial Projection Operators
HiPPO
用于状态空间模型的矩阵初始化方法,通过高阶多项式投影算子对递归矩阵施加特殊结构,使模型能够高效捕获序列中的长程依赖关系
Timeline (last 90 days)
Oct 6
早期SSM如S4通过对矩阵A施加HiPPO初始化来高效捕获长程依赖,同时保持线性递推的推理效率
Unverified50%
Aug 25
Gu等人在2021年的HiPPO和S4工作中将状态空间模型引入深度学习,开创了结构化状态空间模型研究方向
Unverified50%