告别一维Token：POLYDIM用高维流形重构推理

Transformer架构有两个被反复讨论的结构性瓶颈：注意力机制的二次复杂度，以及把高维推理空间压缩成一维序列化token流时不可避免的信息损耗。Reddit上有一个研究组公开了他们的工作 POLYDIM / EinsofOS，试图从表示层面绕开这两个问题——不是优化注意力，而是重新定义"推理轨迹"长什么样。

从离散token到连续流形：核心思路

POLYDIM的核心主张是：不再用离散的一维自回归token承载推理，而是把推理轨迹直接映射为球面 S^(D-1) 上的等距测地线，其中 D ≥ 1024。也就是说，模型内部的状态不再被强制"压扁"成一串词，而是在高维连续空间中沿测地线演化。

这一思路针对的正是标题里说的"1D Token Collapse"：当高维隐状态被投影为单个token时，大量几何结构信息丢失，解码器只能在残余信息上做自回归。把推理保持在流形上，理论上有机会保留这些结构。

测地线（Geodesic）与等距映射：在黎曼几何中，测地线是流形上两点之间“最短路径”的推广——在球面上它就是大圆弧。所谓“等距”，指映射保持距离/度量不变。把推理轨迹表示为球面 S^(D-1) 上的等距测地线，意味着每一步状态转移都沿测地线进行，且相邻状态在原始高维空间中的相对距离关系被完整保留。与自回归 token 序列只能表达离散跳转不同，测地线参数化提供了连续的、可微的演化路径，使得梯度可以沿流形切空间精确传播，这是保留高维几何结构的关键机制。

Stiefel流形上的数值稳定性

高维连续表示的实际障碍是数值漂移。论文在 Stiefel 流形 St(k, D) 上做优化，采用**四阶极分解回缩（Order-4 Polar Retraction）**配合 Neumaier 补偿累加器，目标是在 IEEE-754 精度下维持规范不变性与数值正交性，报告的正交性误差为 ||X^T X - I_k|| ≤ 10^-15，且不出现灾难性漂移。

这个界是作者主动邀请社区批评的部分——对做数值优化和 kernel 的人来说，10^-15 量级的正交性在长时间迭代后能否守住，是判断这套方法是否可用的关键。作者也明确表示希望收到 polar retraction 边界方面的质疑。

Stiefel 流形与极分解回缩：Stiefel 流形 St(k, D) 是所有列正交的 D×k 矩阵构成的集合（k≤D），可视为“部分正交基”的空间，是优化中处理正交约束的标准工具。回缩（retraction）是把切空间中的更新步映射回流形的操作，需满足一阶近似条件。“极分解回缩”利用矩阵极分解 A=UP（U 正交/半正交，P 对称半正定）把任意矩阵投影回 Stiefel 流形；“四阶”指该近似在步长上达到四阶精度，显著降低数值漂移。Neumaier 补偿累加器则通过记录求和舍入误差提升浮点累加精度。二者结合，是在 IEEE-754 双精度下长时间迭代仍能维持 ||X^T X - I_k|| ≤ 10^-15 的关键。

PMTP：模型间的零拷贝"心灵感应"

系统层面另一个组件是 PMTP（Polymorphic Memory Transfer Protocol），用原生 C++20 和 Rust 实现的进程间零拷贝共享内存架构。它让异构开源权重模型——DeepSeek^广告-R1、Qwen 2.5、LLaMA-3、Gemma-2——直接在 RAM 中交换原始隐状态块（latent state slabs），延迟在亚毫秒级，完全跳过 JSON 或文本 token 的序列化环节。

这实际上是把"模型间通信"从文本协议降到了内存协议。传统多模型协作要靠生成文本再解析，PMTP 的做法是让不同模型共享同一块潜空间数据。作者把它称为 inter-model telepathy，虽然措辞夸张，但对应的工程路径是清晰的：零拷贝 + 亚毫秒延迟 + 异构模型互操作。

零拷贝共享内存与隐状态交换：零拷贝（zero-copy）指数据在进程间传递时不做内存复制，而是通过共享内存映射（如 POSIX shm / memfd）让多个进程直接读写同一物理页。PMTP 借此让不同模型在同一块 RAM 中交换“隐状态块”——即 Transformer 中间层的激活张量，而非序列化后的文本 token。传统多模型协作需“生成文本→解析文本”两步，既引入延迟又丢失连续信息；共享潜空间则保留了高维连续表示。亚毫秒延迟来自避免了序列化与内核态拷贝，但前提是所有模型对隐状态的维度、dtype 与布局达成一致，这也是异构模型互操作的主要工程难点。

可复现的开放产物

这项工作在开放程度上比较彻底，这也是它值得关注的原因之一：

• 论文：《Dimension is All You Need》(Hardened Edition)，预印本发布于 Zenodo（DOI: 10.5281/zenodo.24013070），另在 OSF 有镜像
• 芯片验证：C++20 AVX-512 与 Triton GPU kernel，在 600 次压力试验中完成测试
• 形式化证明：几何公理在 Lean 4 中完成验证

AVX-512 与 Triton 双后端意味着它同时覆盖 CPU 与 GPU 路径；Lean 4 的形式化则给几何假设提供了机器可检验的依据。

需要保持审慎的地方

从 Reddit 帖子本身看，这是一份研究组自述的预印本，核心指标（正交性界、亚毫秒延迟、600 次压力试验）均由作者报告，尚无独立复现。Stiefel 流形上的高维回缩在 kernel 层面的实际吞吐、以及 PMTP 在真实异构部署中的扩展性，都需要第三方验证。对系统与 kernel 优化社区来说，这更像一个值得动手检验的开放靶子，而不是已经定论的结论。

如果你关心数值优化、GPU kernel 或模型间通信协议，论文和代码路径都已在 Zenodo 与 OSF 上公开，可以直接对着 polar retraction 的边界条件开火。