权重空间编程

万能近似定理的构造性证明中，神经元数量通常随 1/ε 增长，这是所需网络规模“悲观界”的来源。

权重空间编程指的是直接以权重为对象进行读写和编程，即模型能够理解权重的语义并生成新的权重。

权重空间编程让LLM无需运行前向传播，纯粹基于权重模式的推理来识别模式、解释功能并执行编辑。

「权重空间编程」（weight space programming）是一个研究领域，其核心问题是 AI 能否将另一个 AI 的权重作为输入来理解，就像处理代码或自然语言那样。

权重空间编程的核心假设是：高维权重空间中的点并非随机分布，而是编码了可被语言模型解读的规律性结构。

MIT的研究展示了前沿大语言模型能够直接读取、理解和改写其他模型的原始权重，无需梯度下降或传统训练流程，这被称为「权重空间编程」。

MIT四位研究者（由Rikia Takehi和Jaden Teo带队）发表论文，提出'权重空间编程'概念，即把小型网络的原始权重交给GPT-6 Astra，让其读取、修复或从零写出新权重。

MIT 实验中 Astra 看似原生读取权重，是因为研究者将 17,253 个权重以纯文本粘贴进提示词，模型只需在 token 序列中做模式匹配；对于百万级参数的真实网络，全部序列化进上下文不现实也不经济。

权重空间编程目前只适合小规模、探索性的研究，而不是通用能力。

原视频内容明确标注了“我们尚未测试”以及“这是对一篇博客文章的首次观察”，意味着相关结论仍处于早期阶段。

权重空间编程的核心思想是将神经网络的参数矩阵直接序列化为数值 token 序列，作为语言模型的上下文输入。

权重空间编程与主流可解释性方法（探针、注意力可视化、激活修补）的根本区别在于：后者在激活空间或表征层分析，而前者试图让模型在权重数值层面建立内部映射。

对于从事模型内部机制可解释性研究的人，权重空间编程提供了一个不同于传统探针手段的视角。

权重空间编程的核心规则是禁止训练循环和梯度下降，要求AI直接观察权重、推理网络功能并修改数字。

在小网络中，权重空间编程可以定位并修复让输入失效或平移阈值类缺陷，但还不能证明一个网络是正确的；审计通过不等于认证通过。

对于临床决策系统，更务实的路径可能是三层叠加：协议测试负责全面检测，黑盒测试负责快速定位，权重空间编程负责解释与最小化修复。

一种名为“权重空间编程”（Weight Space Programming）的新方法让LLM能够读取和写入神经网络权重，并将自动研究（Autoresearch）环节从递归自我改进（RSI）循环中切割出去。

据原始素材描述，权重空间编程方法可编辑Qwen的权重以减少推理循环（reasoning loops），通过直接修改权重而非重新训练来改善推理效率。

权重空间编程将“模型行为”变成了可编程对象，降低了干预门槛，但也要求更高的可解释性工具。

对权重空间编程而言，低秩结构意味着LLM无需生成完整的权重矩阵，只需输出少量低秩因子即可近似实现所需的权重修改。