Project Lumina：从零构建仿脑AGI，T4显存不足的教训

在AI领域，大多数团队选择在现有框架上做微调，但有一群人决定从零开始，用生物机制复刻人脑。AGI Systems Directorate创始人兼CEO近日公开了Project Lumina项目，一个完全从零构建的自主AI智能体和大型语言模型。项目目前处于预训练阶段，目标参数规模超过千亿，并计划下个月正式发布。

为什么要模仿生物机制？

当前的大模型大多基于Transformer架构，依赖静态注意力矩阵。Project Lumina团队认为，要真正迈向通用人工智能，不能一直复制现有的技术模板。

他们从人脑的工作方式中寻找答案。Project Lumina在底层集成了500到1000种不同的生物机制，每一种都承担独立的功能。这些机制不是简单堆叠，而是按照解剖学和功能结构进行区分，包括：

• 自由能原理（Free Energy Principle）
• 突触可塑性与动态权重适应
• 额叶复制回路
• 流体智力基准
• 背外侧前额叶皮层（dLPFC）
• 腹内侧前额叶皮层（vmPFC）
• 海马-内嗅复合体

据创始人介绍，这些机制的目标是模拟生物系统如何处理信息、即时适应，并在不引发计算复杂度爆炸的前提下保持持久状态。

自由能原理由神经科学家Karl Friston提出，是计算神经科学中解释大脑如何工作的统一理论。其核心思想是：生物系统通过最小化“自由能”（即预测与实际感官输入之间的差异）来维持自身稳定。大脑不断生成对世界的预测模型，当预测与输入不符时，要么更新模型（学习），要么改变行为以符合预测（行动）。在AI中，这一原理可被形式化为变分推断，使智能体具备主动推理和不确定性最小化的能力，被视为通往自主智能的重要理论路径之一。

突触可塑性指神经元之间连接强度随活动历史而变化的特性，是生物学习和记忆的基础。常见形式包括长时程增强（LTP）和长时程抑制（LTD）。在人工神经网络中，传统训练使用全局反向传播一次性更新权重，而生物系统依赖局部、在线、稀疏的更新规则。Project Lumina试图将动态权重适应机制引入模型，让网络在推理时也能持续调整连接强度，从而具备持续学习和环境适应能力。

背外侧前额叶皮层（dLPFC） 与腹内侧前额叶皮层（vmPFC） 是前额叶的两个关键子区。dLPFC主要参与工作记忆、规则学习和认知控制，是“冷认知”的核心；vmPFC则与价值判断、情绪调节和决策中的风险收益评估相关，属于“热认知”系统。二者协同支持灵活的目标导向行为。在仿脑AI架构中，模拟这两个区域有助于分离“推理控制”与“价值评估”功能，使智能体在复杂环境中既能规划又能权衡。

项目现状：预训练进行中

创始人坦言，Project Lumina尚未完成。目前预训练运行了大约两天，团队正处于关键阶段。他选择以对话而非文档的形式分享进展，并承诺会亲自回复评论区的问题。

这种开放态度在AI研发中并不多见，但也意味着项目的最终性能仍有待验证。

T4 GPU的惨痛教训与算力现实

项目推进过程中，团队在硬件上栽了跟头。创始人最初坚持尝试在普通T4 GPU上跑完整训练流程，为此尝试了CPU卸载、激进的内存垃圾回收、梯度检查点、自定义分块等各种手段。

结果每次都被显存不足错误击溃。最终团队放弃这一执念，转向H100、H200和TPU的标准工作流。

创始人对此的总结相当直白：在当前的AI竞赛中，算力决定胜负。拥有海量算力，即使想法平庸，也能靠堆参数取胜；而拥有突破性想法却缺乏算力，只会撞上南墙。

这一瓶颈正是团队下一步要解决的问题——为独立开发者和研究者降低算力门槛。

梯度检查点（Gradient Checkpointing）是一种以计算换显存的技术：在前向传播中不保存所有中间激活值，而是在反向传播时重新计算部分激活，从而将显存占用从与层数成正比降低到与检查点间隔成正比。CPU卸载（CPU Offloading）则将部分模型参数或优化器状态移至CPU内存，在需要时再传回GPU，以缓解显存压力，但会引入显著的数据传输开销。自定义分块（Chunking）通常指将长序列或大张量切分为小块分批处理，以适配有限显存。这些手段在T4这类仅有16GB显存的推理卡上尤为常见，但对于千亿参数级别的预训练，其收益远不足以弥补硬件根本性的容量与带宽差距，这也是团队最终转向H100/H200/TPU的原因。

下一步：百亿参数与量化优化

Project Lumina计划在下个月正式发布，参数规模将突破一千亿，同时重点优化量化技术，使其能在基础硬件上高效运行。

创始人用了一个形象的对比：人脑只需12到20瓦的功率就能运转，而数据中心消耗的资源堪比整条河流。缩小这一差距，是Project Lumina的长期目标。

在发布前夕，团队正在征求社区意见：首个公开版本应该投放到哪个平台，以获得最有价值的技术反馈？这个问题也留给了关注该项目的开发者们。

从T4显存报错到千亿参数仿脑架构，Project Lumina的路线充满野心，也充满不确定性。它能否兑现承诺，下个月的发布将给出第一个答案。

常见问题

Project Lumina是什么？

Project Lumina是AGI Systems Directorate从零构建的自主AI智能体和大型语言模型，集成了多种生物机制，目标是模拟人脑的信息处理方式。

为什么放弃T4 GPU？

团队尝试了CPU卸载、梯度检查点等多种内存优化手段，但T4 GPU仍无法承载完整训练流程，最终转向H100、H200和TPU。

Project Lumina什么时候发布？

团队计划在下个月发布首个公开版本，参数规模预计超过一千亿，并针对量化进行优化以适配基础硬件。