Spark X

一款约40亿参数的开源小型语言模型，采用稀疏注意力架构（局部滑动窗口层+全局注意力层交错设计），原生支持约100万Token的超长上下文窗口，可在普通消费级硬件上运行