MemT-1.0：记忆原生进化，让模型自带记忆能力

记忆正在从外挂组件变成模型的内生能力。MemT-1.0 用架构层面的改造，让基础模型自己就能积累和调用信息，而不是依赖检索增强或超长上下文。

为什么记忆需要“原生”

当前让模型记住信息的主流做法有两类：一是扩大上下文窗口，把历史全部塞进提示词；二是检索增强生成（RAG），从外部库中查找相关片段。这两种方式都把记忆当作模型之外的附加物，带来推理成本高、持久存储膨胀、信息利用率低等问题。

MemT-1.0 的出发点不同：它把记忆视为基础模型计算的一部分。用作者的话说，记忆原生进化要求“让记忆成为基础模型的内在能力”，使其能够持续积累和利用信息。这一思路的关键在于，模型不再只是被动处理输入，而是在每一轮交互中主动更新内部记忆状态。

检索增强生成（RAG） 是一种将模型与外部知识库解耦的范式：系统先从外部存储中检索与当前输入相关的文本片段，再把这些片段拼入提示词供模型生成。RAG 的优势是知识可随时更新、不需重训模型，但每次推理都要额外执行检索与拼接，存在检索延迟、片段选择误差和上下文占用等问题，且模型本身并未真正“记住”这些信息。

KV cache 指自回归 Transformer 在生成过程中缓存的键值对，用于避免重复计算历史 token 的注意力。上下文越长，KV cache 占用的显存越大，且随对话轮次线性增长，这正是长上下文部署中显存与延迟的主要来源。MemT-1.0 声称的“66 倍存储缩减”，比较基准就是保留完整历史 KV cache 的方案。

架构核心：Gated DeltaNet-2 与 Mixture-of-Storage

MemT-1.0 建立在 Metis 之上，采用 Gated DeltaNet-2，并在每个 turn 内引入稳定的 token 级记忆更新机制。这意味着记忆的写入发生在 token 粒度上，且更新过程是稳定的——避免长序列中记忆状态漂移或遗忘。

为了扩展原生记忆容量，团队进一步设计了 Mixture-of-Storage（存储混合）。可以把它理解为在模型内部划分出不同层次的存储单元，按需分配和调用，从而在参数量之外增加可用的记忆空间。这一设计直接回应了“原生记忆容量有限”的瓶颈。

两阶段训练流程

在完成精心的骨干准备后，MemT-1.0 采用两阶段训练：继续预训练（continued pre-training）加后训练（post-training）。整个流程由 34B tokens 的训练数据支撑，并配套高效的训练与推理基础设施。训练数据规模和基础设施的配合，是记忆机制能够稳定收敛的前提。

DeltaNet 属于线性注意力/状态空间模型的一类，其核心是用一个可更新的递归状态矩阵代替标准注意力中的全历史 KV 存储，每次只把新信息以“ delta ”方式增量写入状态。相比标准注意力，它的计算与存储随序列长度呈线性而非平方增长。Gated（门控）则指引入学习得到的门控机制，控制新旧信息写入与保留的比例，从而缓解长序列中的状态漂移与遗忘问题，这也是文中强调“稳定 token 级记忆更新”的技术来源。

Mixture-of-Storage 借鉴了混合专家（MoE）的稀疏路由思想：模型内部维护多组存储单元，由路由机制按输入动态选择激活哪一部分，从而在不按比例增加每 token 计算量的前提下扩大可用记忆容量。它与 MoE 的区别在于，被路由的是记忆/存储槽位而非前馈网络专家。

继续预训练（continued pre-training） 指在已完成通用预训练的基座模型上，用领域或特定目标的数据继续做下一 token 预测训练，以注入新能力而不从零训练。在 MemT-1.0 中，这一阶段的作用是让模型学会在 token 粒度上写入和更新内部记忆状态。后训练（post-training） 通常包括监督微调与偏好对齐等步骤，用于让模型掌握指令遵循和特定任务行为。两阶段结合，先塑造记忆机制，再对齐使用方式，34B tokens 的规模则是保证该机制收敛的数据基础。

模型家族与实测表现

MemT-1.0 发布了两个版本：MemT-1.0-Nano 和 MemT-1.0-Flash。团队对记忆能力和通用能力做了全面评估。

结果显示，这两个模型在记忆相关任务上平均优于参数化记忆基线，与检索增强方法相比也保持竞争力，同时大体上保留了通用能力。这一点值得注意：很多记忆增强方案会以牺牲通用能力为代价，而 MemT-1.0 在两者之间取得了平衡。

效率数据：1.86 倍加速与 66 倍存储缩减

在 128K tokens 的历史长度下，MemT-1.0-Nano 实现了约 1.86 倍的端到端推理加速，持久存储相比完整上下文 KV cache 减少 66 倍。这两个数字直接对应实际部署中的痛点——长上下文带来的显存占用和延迟。把历史压缩进原生记忆状态，而不是保留全部 KV，是效率提升的来源。

智能体任务：内化过程经验

MemT-1.0 在智能体任务上也有所提升。通过内化检索到的过程性经验（procedural experience），模型在 agentic 任务上的成功率得到改善。这意味着记忆不只是记住事实，还能记住“怎么做”的经验，并在后续任务中复用。

记忆原生路线意味着什么

MemT-1.0 的价值不在于单项指标刷新，而在于验证了一条路径：记忆可以作为模型架构的一部分被训练出来，而非事后拼接。对开发者而言，这意味着未来部署长程对话、持续学习的智能体时，可能不再需要维护庞大的外部记忆库和复杂的检索管线。

当然，原生记忆也带来新的问题：记忆如何更新、如何遗忘、如何保证不引入错误信息，这些在论文中尚未完全展开。但作为“迈向记忆原生进化的一步”，MemT-1.0 给出了可复现的工程方案和可对比的量化结果，这本身就值得关注。