[控场AI]
· 5 分钟阅读· 2,576 字

BriLLM-MetaPred:首个从AGI数学理论推导的语言模型

BriLLM-MetaPred:首个从AGI数学理论推导的语言模型

BriLLM-MetaPred 是首个由 AGI 数学理论推导出的机器学习范式,用单一动力学状态统一表示与预测。

BriLLM-MetaPred 是 MetaPred 机器学习框架的首个工程实现,主张完全由 AGI 数学理论推导而非人工拼装。其核心是用单一、持续演化的动力学状态同时承担上下文表示与预测读取,实现表示-预测一体;模型持续测量自身状态,降低有限深度不一致性并提供不动点形式的内生自监督信号;训练与推理因共用同一状态而内在耦合,呈现对称性。工程上它借助 BriLLM 的 SiFu 节点-信号流范式落地,定位为连接理论原语与工程载体的桥梁。初步结果显示其预测性能与同规模 GPT 基线相当,作为工程可行性的初步证据。

语言模型的设计范式,是否只能靠人类不断「堆模块、调结构」?一篇新论文给出了一个反直觉的答案:从AGI的数学理论出发,直接推导出一个机器学习原语,并把它落地成可运行的语言模型。这就是 BriLLM-MetaPred。

据论文描述,它是 MetaPred 机器学习框架的首次工程实现,也是第一个完全由数学理论推导、而非靠人工设计和增量改进拼装出来的机器学习范式。作者甚至断言,这也许是「最后一个这样的范式」。

BriLLM-MetaPred 论文来源示意

一个状态,同时扮演表示与预测

BriLLM-MetaPred 的核心设计非常简洁:用单一、持续演化的动力学状态,同时充当上下文表示和预测读取的状态源。

传统语言模型通常把「表示」和「预测」拆成两套结构——前者由编码器或隐藏层承担,后者由输出头完成。MetaPred 则把两者统一到同一个动力学状态里。预测不再是从外部附加的读出操作,而是从这个状态本身直接读取。

这种「表示-预测一体」的设计,使得模型在结构上更接近理论所描述的最优形态。论文称,MetaPred 在几乎所有机器学习关键要素上都表现出对称性——这是数学最优解在空间中的一种直观且可观测的性质。

自我测量:内生自监督信号

论文中另一个关键机制是对自身状态的持续测量。

模型不断测量自己的动力学状态,这一过程带来三重效果:降低有限深度带来的不一致性、维持内部一致性,并以不动点形式提供一个内生的动力学自监督信号。

这一点值得注意。常规自监督依赖外部构造的代理任务(如掩码预测、对比学习),而 MetaPred 的自监督信号来自状态自身的测量结果,属于「内生」而非「外加」。这让训练信号的来源更贴近模型动力学本身,也为固定点形式的稳定性提供了支撑。

不动点(fixed point) 是动力系统理论中的核心概念:若系统状态在某一映射下不再变化,即 f(x) = x,则 x 称为该映射的不动点。在深度网络中,有限层数导致的信息损失与不一致性,可被理解为状态尚未收敛到稳定点。将自监督信号构造为「状态趋于不动点」的约束,等价于要求内部表征在迭代中自我一致,而非依赖外部标签或代理任务。这种以收敛性作为训练目标的思路,与 Deep Equilibrium Models 等隐式深度模型有理论呼应,但 MetaPred 强调的是从状态测量中内生地产生信号。

训练与推理的对称耦合

由于训练和推理共用同一个动力学状态,MetaPred 天然地把二者耦合在一起。论文将这种性质描述为「对称性」:训练阶段与推理阶段在结构上不再割裂。

对工程实现而言,这意味着模型不需要为推理单独设计一套路径,训练时学到的动力学行为可以直接延续到推理过程。作者认为,这种对称性是数学最优解的一个可观测特征,而非人为设计的结果。

动力学状态(dynamical state) 指模型内部随输入与时间持续演化的一组变量,其更新由某个固定的演化规则(动力学方程)决定。与传统 Transformer 中每层独立参数、前向一次即丢弃中间状态不同,动力学状态在整个计算过程中被持续维护和更新。MetaPred 让这一状态同时充当上下文表示与预测读取源:上下文信息被编码进状态的演化轨迹中,而预测则从当前状态直接读出。由于训练与推理遵循同一套状态演化规则,二者在结构上自然耦合,无需为推理另设路径,这也是论文所称「对称性」的具体来源。

不是另一个循环语言模型,而是一座桥

论文明确强调:BriLLM-MetaPred 既不是又一个循环语言模型,也不是 BriLLM 的简单扩展。它的定位是连接两项先前工作的桥梁:

  • 一是 AGI 理论所构建并论证的 MetaPred 原语;
  • 二是 BriLLM(Zhao et al., 2025)提出的 SiFu 学习范式。

SiFu 的节点-信号流设计,使这个理论原语得以在现有软硬件加速器上实际运行。换句话说,理论给出了「应该做什么」,SiFu 提供了「怎么跑起来」的工程通道。

SiFu(Signal-Flow)学习范式 是 BriLLM(Zhao et al., 2025)提出的节点-信号流计算框架。其基本思想是将网络视为由节点与信号流构成的图结构,计算过程对应信号在节点间的传播与聚合,而非传统张量运算的层叠。这种设计的关键工程价值在于:它天然适配现有 GPU/TPU 的并行与访存模式,使理论上抽象的动力学原语能够映射为可执行的算子图。BriLLM-MetaPred 正是借助 SiFu 的节点-信号流抽象,把 MetaPred 原语从数学定义转化为可在现有加速器上运行的实现,从而打通「理论原语」与「工程载体」之间的通道。

性能初证:与同规模 GPT 基线相当

工程实现最受关注的问题是:理论上优雅,实际效果如何?

论文给出的答案是:BriLLM-MetaPred 的预测性能与同规模 GPT 基线相当。作者将此视为 MetaPred 框架工程可行性的初步证据,而非终局结论。

这一结果的意义在于验证路径,而非刷榜。作为首个从数学理论完整推导出的机器学习范式,能在语言建模任务上达到同规模 GPT 的水平,本身已经回答了「理论能否落地」这一前置问题。后续能否在更大规模、更多任务上展现优势,仍是开放议题。

理论优先的范式意味着什么

论文的野心不止于一个语言模型。作者主张,MetaPred 是首个完全由数学理论推导、而非人工拼装与增量改进而来的机器学习范式,并暗示这可能是最后一个此类范式。

这一论断是否成立,需要社区长期检验。但它提出的问题很有价值:当模型结构越来越依赖经验性试错时,从理论出发推导原语、再寻找工程载体,是否会成为另一条可行路径?BriLLM-MetaPred 至少提供了一个可被检验的样本。

对关注 AI 基础架构的读者而言,这项工作的看点不在参数规模,而在于它尝试把「理论—原语—工程」三段打通,并用同规模 GPT 基线作为参照系。这条路线能否走远,接下来要看更多独立复现与规模化验证。

#BriLLM-MetaPred#MetaPred#AGI 数学理论#语言模型#自监督学习#SiFu 学习范式#动力学状态
分享:

相关推荐