H-JEPA-LM：在潜空间预测的非生成式语言模型解析

引言：语言模型的另一条路径

当前主流的大语言模型（LLM）几乎无一例外地采用自回归（autoregressive）范式——即在词表空间中逐个 token 地预测下一个词。从技术角度看，自回归语言模型的核心机制是将文本生成建模为条件概率的链式分解：P(x₁,x₂,...,xₙ) = ∏P(xᵢ|x₁,...,xᵢ₋₁)。每一步预测都依赖于之前所有已生成的 token，通过 softmax 在整个词表上计算概率分布。这种方式的优势在于训练目标简洁（交叉熵损失）、可以利用 teacher forcing 进行高效并行训练，但推理时必须逐步串行生成。

自回归模型的 teacher forcing 训练策略是指在训练时，每一步的输入都使用真实的前文 token（ground truth），而非模型自身的预测结果。这使得训练可以完全并行化——所有位置的损失可以在一次前向传播中同时计算。然而，Bengio 等人早在 2015 年就通过 scheduled sampling 指出了这一策略的根本矛盾：训练与推理时输入分布的不匹配导致了系统性的性能退化。现代大模型通过规模效应在一定程度上缓解了暴露偏差，但在需要精确逻辑链的数学推理任务中，错误累积效应仍然显著——一步推理错误可能导致后续所有步骤偏离正确轨道。

自回归模型的串行生成特性不仅影响推理速度，还带来了"暴露偏差"（exposure bias）问题：训练时模型看到的是真实的前文（teacher forcing），但推理时看到的是自己之前生成的内容，错误会逐步累积。此外，自回归模型的每一步预测都必须在离散词表（通常为32K-128K个token）上做 softmax 归一化，这意味着模型被迫在每一步都做出"硬决策"，无法保留多种可能性的叠加态进行后续推理。这种"过早承诺"（premature commitment）的问题在需要全局规划的任务中尤为突出。

这种方式虽然催生了 GPT、LLaMA 等一系列成功模型，但也伴随着显著的局限：模型被迫在表层符号空间中进行预测，每一步都要"落地"为具体的词，难以直接学习抽象的语义结构与长程规划能力。

近日，一位开发者在 Reddit 上分享了一个名为 H-JEPA-LM（Hierarchical Joint-Embedding Predictive Language Model） 的研究性实现。它尝试用一条截然不同的思路来构建语言模型：不再生成 token，而是直接在**潜空间（latent space）**中预测抽象表征。这一方向与 Yann LeCun 长期倡导的 JEPA（联合嵌入预测架构）理念一脉相承，值得深入探讨。

什么是 JEPA？为什么它对语言模型至关重要

JEPA（Joint-Embedding Predictive Architecture）是近年来备受关注的一种自监督学习框架。它的核心思想是：在表征空间而非原始输入空间中进行预测。

传统的生成式模型（如自回归 LM 或扩散模型）需要重建完整的输入细节，这意味着模型要花费大量容量去建模那些语义上并不重要的表层信息（比如具体用词的选择、无关的细节噪声）。而 JEPA 主张：与其预测每一个像素或每一个 token，不如预测输入被编码后的抽象表征。

值得注意的是，JEPA 与另一类流行的自监督方法——对比学习（如 SimCLR、CLIP）有本质区别。对比学习通过拉近正样本对、推远负样本对来学习表征，依赖于精心构造的负样本。其损失函数本质上是 InfoNCE，最大化正样本对之间的互信息下界。这种方法的一个根本限制是：它只能学到对比信息（两个视图共有的信息），而无法捕捉单个视图独有但仍然重要的语义特征。而 JEPA 不需要负样本，它通过一个预测器网络（predictor）从一个视图的表征预测另一个视图的表征，配合指数移动平均（EMA）更新的目标编码器来防止表征坍缩。JEPA 的预测式目标要求模型从上下文表征中推断出目标区域的完整语义表征，这要求模型理解输入的因果结构而非仅仅是统计相关性。

具体而言，JEPA 中的目标编码器采用 EMA 更新策略，即 θ_target = α·θ_target + (1-α)·θ_online，其中 α 通常设为 0.996-0.999。这种缓慢更新的目标网络提供了稳定的学习信号，避免了对比学习中需要大 batch size 或 memory bank 来维护负样本多样性的需求。EMA 更新策略的直觉来源是 Polyak 平均——通过对参数轨迹进行指数加权平均来获得更稳定的模型。在 BYOL（Bootstrap Your Own Latent, 2020）中，这一技术首次被证明可以在无负样本的情况下防止表征坍缩。理论分析（如 Tian 等人 2021 年的工作）表明，EMA 目标网络实际上隐式地引入了一种光谱正则化，防止表征矩阵的特征值集中在少数主成分上，从而维持表征的多样性和信息量。预测器网络通常是一个轻量级的 Transformer 或 MLP，它接收上下文编码器的输出和位置信息，预测被遮蔽区域在目标编码器空间中的表征。这种非对称设计（预测器只存在于 online 分支）是防止坍缩的关键因素之一。

Meta AI 在 2023 年发布的 I-JEPA（Image JEPA）已经在视觉领域验证了这一框架的有效性。I-JEPA 在 ImageNet-1K 上使用 ViT-H/14 架构达到了 81.8% 的线性探测准确率，且不需要任何手工设计的数据增强（如裁剪、颜色抖动、模糊等），这与 MAE、DINO 等方法形成鲜明对比。I-JEPA 的关键洞见是：在语义空间中预测大块遮蔽区域的表征，迫使模型学习高级语义特征而非低级纹理特征。其遮蔽策略也经过精心设计——使用多个大面积的目标块和一个较小的上下文可见区域，确保预测任务具有足够的难度和语义性。

I-JEPA 的遮蔽策略借鉴了认知科学中关于人类视觉系统的"预测编码"（predictive coding）理论——大脑不断预测即将到来的感觉输入，只有预测误差才会向上传播。具体实现中，I-JEPA 使用 4 个随机大小的目标块（占图像面积的 15%-20%），而上下文仅保留图像的一小部分（约 85% 被遮蔽），这迫使模型从非常有限的信息中推断大量缺失内容的语义。后续工作 V-JEPA（Video JEPA, 2024）将这一思想扩展到视频理解，在时空维度上进行预测，展示了 JEPA 框架处理动态场景的潜力。

这种做法带来两个潜在优势：

抓住语义本质：模型学习的是「意思」而非「字面」，理论上能获得更泛化、更抽象的表示。
避免无谓的建模成本：不必浪费参数去拟合不可预测或无关紧要的细节。

LeCun 曾多次公开表示，他认为 JEPA 这类基于世界模型的架构，才是通往更高级机器智能的可行路径，而非单纯堆叠自回归生成模型。H-JEPA-LM 正是将这一理念从视觉领域迁移到语言建模的一次尝试。

H-JEPA-LM 的核心架构设计

根据作者的介绍，H-JEPA-LM 具备以下几个关键特性：

潜空间预测：从 token 生成到语义表征学习

这是整个架构的立足点。与自回归模型在词表空间逐 token 预测不同，H-JEPA-LM 将预测任务转移到潜空间，专注于语义表征学习而非 token 生成。换言之，模型的目标是「预测下一段内容的抽象含义」，而不是「预测下一个具体的字」。

这一设计选择背后有深刻的认知科学启示。人类在理解和规划语言时，并不是在脑中逐字推演，而是先形成抽象的语义意图，再将其实例化为具体的词句。潜空间预测正是试图模拟这一过程——在连续的、高维的语义空间中进行推理和预测，将离散的 token 生成延后到最终的解码阶段。

分层抽象：同时建模局部句法与全局规划

名称中的「H」代表 Hierarchical（分层）。作者引入了多层次的潜空间动态机制，试图同时建模两种不同尺度的语言结构：

短期句法（short-term syntax）：局部的、细粒度的语言组织；
长期规划（long-term planning）：跨越更大文本跨度的语义脉络与结构规划。

这种分层设计在深度学习中有丰富的学术传统。从 Ladder Networks 到分层 VAE（如 NVAE、Very Deep VAE），研究者们一直在探索如何让不同层次的潜变量捕捉不同抽象级别的信息。分层潜变量模型的信息论基础可以追溯到"信息瓶颈"（Information Bottleneck）理论：不同层次的潜变量对输入信息进行不同程度的压缩，高层变量保留更多任务相关的抽象信息，低层变量保留更多重建所需的细节信息。

信息瓶颈理论由 Tishby 等人在 1999 年提出，其目标是找到输入变量 X 的一个压缩表示 T，使得 T 保留尽可能多的关于目标变量 Y 的信息，同时最小化关于 X 的冗余信息。形式化为最小化 I(X;T) - β·I(T;Y)，其中 β 控制压缩与预测之间的权衡。Shwartz-Ziv 和 Tishby（2017）的争议性工作试图用信息瓶颈理论解释深度学习，认为神经网络训练经历"拟合"和"压缩"两个阶段。虽然这一理论解释仍有争议，但它为分层架构的设计提供了清晰的直觉指导：更深的层应该保留更抽象、更任务相关的信息，而丢弃与下游任务无关的表层细节。

在语言建模中，这对应着自然语言的多尺度结构——从音素/词素层面的形态规律，到短语/从句层面的句法组织，再到段落/篇章层面的修辞结构和论证逻辑。认知语言学研究也支持人类大脑以分层方式处理语言，大脑皮层的不同区域分别处理不同抽象级别的语言信息。

在自然语言处理中，这一思想体现在分层注意力网络（Hierarchical Attention Networks）和层次化文本生成模型中。H-JEPA-LM 的创新在于将分层潜变量与 JEPA 的非生成式预测目标结合，让底层潜变量负责局部语法模式（如短语结构、搭配关系），高层潜变量负责篇章级别的主题连贯性和论证结构。

这种分层设计在直觉上很有吸引力——人类理解和生成语言时，确实同时在词句层面和篇章层面进行处理。让不同抽象层次的潜变量各司其职，有望缓解单一序列模型在长程依赖上的短板。

动作条件化推演：世界模型风格的潜空间规划

更有意思的是，H-JEPA-LM 支持世界模型风格（world-model-style）的潜空间规划。所谓「动作条件化」，是指模型可以在给定某种「动作」或意图的条件下，在潜空间中推演出未来的表征轨迹。

世界模型（World Models）的概念源自认知科学和强化学习领域。在强化学习中，世界模型是对环境动态的内部表征，智能体可以在"心智空间"中模拟不同动作的后果，从而进行前瞻性规划而非仅依赖试错。经典工作包括 Ha 和 Schmidhuber 的 World Models（2018）以及 DeepMind 的 MuZero（2020）——后者甚至无需了解游戏规则，仅通过学习环境的潜空间动态模型就能达到超人水平。

MuZero 的突破性贡献在于证明了一个完全学习到的世界模型可以支持高效的蒙特卡洛树搜索（MCTS）规划。它学习三个网络：表征网络（将观测映射到潜状态）、动态网络（在潜空间中预测下一状态）和预测网络（从潜状态预测价值和策略）。关键洞见是：世界模型不需要准确重建观测，只需要在与决策相关的维度上保持准确即可。这与 JEPA 的哲学高度一致——都强调学习"足够好"的抽象表征而非完美重建。在语言建模场景中，这意味着潜空间动态模型只需捕捉语义层面的演进逻辑，而非预测具体的措辞选择。

世界模型的概念经历了从显式到隐式的演进。早期方法如 Dyna-Q 直接在状态空间中学习转移函数，而现代方法（如 Dreamer 系列、IRIS）在学习到的潜空间中进行想象和规划。DreamerV3（2023）展示了一个统一的世界模型智能体可以跨越 150 多个不同领域的任务，从 Atari 游戏到机器人控制再到 Minecraft。其核心思想是：在潜空间中进行 rollout 的计算成本远低于在原始观测空间中进行模拟，同时潜空间的平滑性使得梯度更容易传播，有利于通过反向传播进行规划优化。

Dreamer 系列由 Danijar Hafner 等人开发，其核心是"想象"——智能体在学习到的潜空间中生成虚拟轨迹，并通过反向传播直接优化策略。DreamerV3 引入了 symlog 预测、离散化潜空间（使用 32 个类别的分类分布而非高斯分布）等技巧来处理不同领域间的规模差异。对于语言模型而言，Dreamer 的经验表明：（1）离散化的潜空间可能比连续潜空间更适合建模结构化信息；（2）短视域的想象（short-horizon imagination）在计算效率和规划质量之间可以取得好的平衡——这暗示语言模型的潜空间规划不需要一次性规划整篇文章，而可以采用滚动规划（receding horizon）策略。

将这一思想引入语言模型意味着：模型不再只是根据已有文本被动地预测下一个 token，而是能够在潜空间中"想象"不同的表达策略和推理路径，选择最优的语义轨迹后再映射为具体文本。这对于需要多步推理、长程规划的任务（如撰写论证文章、解决数学问题）尤为关键。

这一设计明显借鉴了强化学习与世界模型的思路，为下游任务的规划能力预留了接口。

模块化的 PyTorch 开源实现

作者强调，整个项目是一个为实验而设计的模块化 PyTorch 实现，代码已开源在 GitHub（仓库地址：github.com/Griffith-7/H-JEPA-LM）。这意味着研究者可以方便地替换组件、调整层级结构，进行各种消融实验。

H-JEPA-LM 的意义与现实挑战

值得肯定的探索方向

H-JEPA-LM 最大的价值在于它代表了一种非主流但有前景的探索。在整个行业都在追逐「更大的自回归模型」时，从潜空间预测、分层抽象、世界模型规划这些角度切入语言建模，本身就是对现有范式的有益补充。

特别是「动作条件化推演」的引入，让语言模型不再只是被动的文本续写器，而具备了某种「在心智空间中模拟推演」的雏形——这正是当前 LLM 在复杂推理和规划任务上所欠缺的能力。

需要理性看待的现实挑战

不过，也需要客观指出几点：

第一，这是一个个人研究性实现，而非经过大规模验证的成熟成果。作者主要在 Reddit 社区分享，目前尚未看到基准测试数据或与主流模型的对比结果。其实际效果如何，仍有待社区检验。

第二，JEPA 在语言领域的应用远比视觉领域困难。文本本身就是离散的、高度结构化的符号系统，「什么是好的语义表征目标」这个问题在语言场景中并不容易定义。潜空间预测如何避免表征坍缩（representation collapse）、如何设计有效的预测目标，都是硬核难题。

表征坍缩是指编码器学会将所有输入映射到相同或极度相似的表征向量，使得预测任务变得 trivial——预测器只需输出一个常量即可获得零损失。在视觉 JEPA 中，这一问题通过 EMA 目标编码器、方差正则化（VICReg）、停止梯度等技术来缓解。但在语言领域，由于文本的离散性和语义密度远高于图像（几乎每个 token 都承载关键信息），表征坍缩的风险更为突出。语言与视觉在信息密度上存在根本差异：一幅 256×256 的图像包含 65536 个像素，其中大部分是冗余的背景和纹理信息；而一个 256 token 的文本段落中，几乎每个 token 都可能承载不可忽略的语义信息。这意味着语言领域的"好表征"需要在更高的信息保留率下工作。此外，语言的组合性（compositionality）要求表征能够捕捉词与词之间的结构性关系，而非仅仅是 bag-of-words 级别的语义摘要。已有研究（如对 BERT 各层的 probing 分析）表明，预训练语言模型的不同层自然地捕捉了从表层句法到深层语义的不同信息类型，这为分层 JEPA 的设计提供了经验支持，但也凸显了在语言领域实现有效 JEPA 需要更精细的架构设计和训练策略。

第三，非生成式架构如何完成实际的文本输出任务，也是一个绕不开的工程问题——毕竟大多数应用最终仍需要生成可读的文本。一种可能的解决方案是在潜空间规划完成后，通过一个额外的解码器将潜表征映射回 token 序列，但这就引入了训练复杂度和可能的信息瓶颈问题。

这一问题在 NLP 中并非全新课题：变分自编码器（VAE）用于文本生成时就面临"后验坍缩"（posterior collapse）问题——解码器倾向于忽略潜变量而退化为普通的语言模型。此时 KL 散度项 KL(q(z|x)||p(z)) 趋近于零，潜变量变成了噪声。已有的缓解策略包括：KL 退火（逐步增大 KL 权重）、自由位（free bits，为每个潜变量维度设置最小 KL 值）、削弱解码器（如 word dropout、限制注意力窗口）等。Optimus（2020）通过将 BERT 编码器与 GPT-2 解码器结合来缓解这一问题，但仍难以在潜空间的表达力和解码质量之间取得完美平衡。Della（2023）等近期工作通过在潜空间中引入扩散过程来替代传统的高斯先验，显著缓解了后验坍缩问题，这为 H-JEPA-LM 的解码策略设计提供了有前景的参考方向。

对于 H-JEPA-LM 而言，一个值得探索的方向是借鉴非自回归（Non-Autoregressive, NAT）文本生成的最新进展。CMLM（Conditional Masked Language Model）、Levenshtein Transformer、以及最近的扩散语言模型（如 Diffusion-LM、MDLM）都在探索绕过逐 token 生成的方法。特别值得关注的是 SUNDAE（2022）和 DIFFORMER（2023），它们通过迭代细化（iterative refinement）的方式逐步将随机噪声转化为连贯文本。这些方法的成功证明了从潜表征到文本的映射不必是一次性的——可以通过多步解码逐步提高精度。结合 H-JEPA-LM 的潜空间规划能力，一个有前景的架构是：先在潜空间中规划出完整的语义轨迹，再通过非自回归或半自回归的解码器并行地将其转换为文本，这可能同时解决规划能力和生成效率两个问题。

结语：后自回归时代的种子选手

H-JEPA-LM 是一次颇具想象力的架构实验，它把 LeCun 倡导的 JEPA 理念、分层抽象和世界模型规划三条思路融合进语言建模，为「后自回归时代」的语言模型探索提供了一个可供把玩的开源样本。

对于关注前沿架构、正在研究 JEPA、潜空间模型或世界模型的开发者而言，这个仓库值得一试。当然，从一个概念验证到真正可用的模型之间，还有很长的路要走。但正是这类不循常规的尝试，才可能孕育出下一次范式转变的种子。