Percepta推出Spotlight架构：让记忆与智能解耦，模型无需重训即可成长

AI初创公司Percepta近日公开了一种名为Spotlight的新架构，核心主张是将模型的"智能"与"记忆"彻底分离——让知识和技能能够持续增长，而无需改变模型本身的权重。这一设计直指当前Transformer架构的一个根本性瓶颈：注意力机制的成本随上下文长度平方级膨胀。

Spotlight想解决什么问题

现有大模型依赖注意力机制处理上下文，但注意力存在一个绕不开的权衡：记忆容量越大，每个token的访问成本越高。无论是标准注意力还是各类稀疏变体，都没能真正跳出这个取舍。

按照Percepta博客的描述，Spotlight"用一种能够逃脱这一权衡的记忆机制替代了注意力"，并自称是第一个在不增加访问成本的前提下实现记忆无限增长的架构。这句话如果成立，意味着模型可以在近乎恒定的计算开销下处理和存储任意规模的信息。

注意力机制的平方级复杂度（O(n²)）是指：在处理长度为n的序列时，每个token都需要与其他所有token计算相似度分数，导致计算量和显存消耗随序列长度呈平方增长。例如序列长度翻倍，计算成本会变为原来的四倍。为缓解这一问题，学界已提出多种稀疏注意力（Sparse Attention）和线性注意力方案，如Longformer、FlashAttention、RetNet等，但它们本质上仍是在"如何更高效地计算注意力"上做优化，并未改变"上下文越长、整体成本越高"的根本逻辑。Spotlight的主张是从机制层面绕开这一权衡，而非在Transformer框架内修补。

核心机制：任意稀疏的可寻址记忆

Spotlight的关键在于记忆的组织方式。每个token都可以从一个**无界记忆（unbounded memory）**中读取和写入，但模型学会了对单个记忆单元进行索引，因此每个token每次只触及其中很少的一部分。

这与混合专家（MoE）模型形成鲜明对比。博客特意点出：MoE总是从固定的专家集合中激活固定数量的专家，使用容量的"比例"是写死的；而Spotlight是**任意稀疏（arbitrarily sparse）**的——无论记忆增长到多大，它触及的单元数量保持不变，所使用的记忆比例可以无限缩小。

换句话说，MoE在扩张时仍要按比例付出代价，而Spotlight声称能在记忆膨胀时维持恒定的访问成本。这是它区别于已有稀疏架构的技术主张。

混合专家模型（Mixture of Experts，MoE）是一种将神经网络拆分为多个"专家"子网络的架构，推理时由门控机制（gating network）只激活其中少数几个专家，从而在保持总参数量巨大的同时控制单次推理的计算量。GPT-4、Mixtral等模型均采用了这一设计。MoE的稀疏性是"按比例"的：专家总数扩大时，被激活的专家数量通常也随之线性调整，整体访问成本并非严格恒定。Spotlight声称的"任意稀疏"则指无论记忆池扩张多少倍，每次访问触及的记忆单元绝对数量保持不变，是一种更激进的解耦方式——若属实，这在稀疏架构领域将是显著的差异化设计。

智能模块与记忆的解耦

Spotlight把系统拆成两个部分：

• 智能模块（intelligence module）：负责执行计算，大小固定，权重在记忆增长时不发生变化。
• 记忆（memory）：存放知识、过程（procedures）和工作状态。

这里最值得玩味的一点是，记忆是可写的，并且由模型自己逐token决定加载什么、何时覆盖什么。记忆不仅能保存事实，还能保存"技能"。

这就引出了Percepta最大胆的论断：模型可以在不重新训练的情况下获得新能力。它所能做的事，不再受限于智能模块的大小。传统认知里，模型能力的上限基本由参数规模决定；而在Spotlight的框架下，能力的扩展被转移到了可增长的记忆上。

为什么这个方向值得关注

LLM能否"自己长出新能力"（can LLMs grow their own capabilities），正是Percepta另一篇博客的标题。这触及了业界长期讨论的话题：持续学习、长期记忆、避免灾难性遗忘。当前主流做法——RAG外挂检索、微调、扩大上下文窗口——都是在Transformer框架内打补丁，而Spotlight试图从架构层面重新定义记忆。

如果记忆可以无限增长且访问成本恒定，同时技能也能存入记忆，那么一个固定大小的"智能核心"配合不断扩张的记忆，理论上可以持续进化。这对推理成本、模型更新方式乃至部署形态都可能产生影响。

持续学习（Continual Learning）和灾难性遗忘（Catastrophic Forgetting）是深度学习领域的经典难题：神经网络在学习新任务时，往往会覆盖掉旧任务的权重，导致旧能力急剧退化。当前工业界的主要对策包括：检索增强生成（RAG）将外部知识库与模型分离、参数高效微调（如LoRA）通过低秩矩阵减少权重变动、以及扩大上下文窗口将历史信息直接塞入输入。这些方案的共同局限是仍以Transformer的注意力机制为底座，无法根本解决长期记忆与计算成本的矛盾。Spotlight把"技能"和"知识"统一写入外部可寻址记忆的思路，在架构哲学上更接近神经图灵机（Neural Turing Machine）和记忆增强神经网络（MANN）的早期探索，是对这一传统路线的延续与激进化。

需要保持的审慎

必须指出，目前所有信息均来自Percepta自家博客的描述，这是一个单一来源的厂商自述。文中的几项核心主张——"第一个实现无限增长记忆""访问成本不增加""无需重训即可获得新技能"——都相当激进，尚未看到独立的基准测试、同行评审或可复现的实验数据支撑。

"索引单个记忆单元"的具体实现、训练稳定性、写入冲突与遗忘控制，以及在真实任务上的表现，都是验证这套架构成色的关键，而这些在现有公开材料中并不清晰。对任何声称"替代注意力"的新架构，历史经验都提醒我们：从漂亮的理论到稳定可扩展的实践之间，往往隔着巨大的工程鸿沟。

在等待更多数据之前，Spotlight更适合被看作一个值得追踪的研究方向，而非已经被证实的突破。