#长上下文

本地小模型撑起百万Token上下文，Spark X如何做到？

Spark X 2.5（4B）开源小模型宣称支持百万Token上下文，靠的是36层中仅9层追踪全文的稀疏注意力架构。本文拆解其设计原理、KV Cache内存账单及128K以内的真实可用区间。