[控场AI]
模型MemT-1.0-Nano / MemT-1.0-Flash

MemT-1.0

一种具有原生记忆能力的基础模型,通过架构改造使记忆成为模型内生能力,而非依赖外部检索或长上下文。

时间轴 (近 90 天)

10月20日

MemT-1.0 将记忆视为基础模型计算的一部分,通过架构层面改造让基础模型自己积累和调用信息,而不是依赖检索增强或超长上下文。

待验证50%
10月20日

MemT-1.0 建立在 Metis 之上,采用 Gated DeltaNet-2 架构。

待验证50%
10月20日

MemT-1.0 在每个 turn 内引入稳定的 token 级记忆更新机制,记忆写入发生在 token 粒度上。

待验证50%
10月20日

MemT-1.0 设计了 Mixture-of-Storage(存储混合)机制,在模型内部划分不同层次的存储单元,按需分配和调用,以扩展原生记忆容量。

待验证50%
10月20日

MemT-1.0 采用两阶段训练流程:继续预训练(continued pre-training)加后训练(post-training)。

待验证50%
10月20日

MemT-1.0 的训练流程使用 34B tokens 的训练数据。

待验证50%
10月20日

MemT-1.0 通过内化检索到的过程性经验(procedural experience),在 agentic 任务上的成功率得到改善。

待验证50%
10月20日

原生记忆方案面临记忆如何更新、如何遗忘、如何保证不引入错误信息等问题,这些在论文中尚未完全展开。

待验证50%

全部知识事实 (8)

来源文章