Arborformer:用纯决策树替代Transformer的语言模型

Reddit 网友展示纯决策树语言模型 Arborformer,引发对非 Transformer 架构可行性的讨论。
Reddit 上一位研究者展示了名为 Arborformer 的实验项目,尝试用纯决策树替代 Transformer 构建语言模型。决策树通过条件分支刻画 token 依赖,具备可解释性优势,但社区质疑其表达能力和规模扩展性,尤其是长距离依赖建模和节点膨胀问题。项目目前缺乏公开的基准测试数据,讨论多停留在概念层面。文章认为,这类探索反映对单一架构垄断的反思,为非 Transformer 路线提供新思路,但 Arborformer 仍属早期概念验证,实用性有待验证。
在Reddit上,一位研究者展示了名为“Arborformer”的实验项目——一个完全基于决策树构建的语言模型,旨在替代Transformer架构。这个概念在社区中引发了讨论,既有对非神经网络路线的好奇,也有对可行性的质疑。
决策树语言模型是什么?
传统语言模型几乎都依赖Transformer的注意力机制,而Arborformer的核心思路是用决策树(Decision Tree)作为唯一的建模单元。决策树通过一系列条件分支对输入进行划分,最终输出预测结果。将这种结构用于语言建模,意味着模型不依赖矩阵乘法与注意力权重,而是通过树状规则来刻画 token 之间的条件依赖。
这种设计让人联想到早期的基于规则的自然语言处理,但Arborformer试图在语言模型规模上做尝试。作者强调其为“100%决策树”,即整个推理路径由树节点构成,没有隐藏的神经网络层。
决策树是一种经典的监督学习模型,通过递归地选择最优特征对数据进行划分,形成树状结构:内部节点对应特征上的判断条件,叶节点给出预测结果。其训练过程通常基于信息增益、基尼不纯度等准则选择分裂点,推理时新样本沿分支走到叶节点即得输出。决策树天然具有可解释性,且不依赖矩阵乘法。但单棵树容易过拟合,实践中常通过集成方法(如随机森林、梯度提升树)提升性能。将决策树用于语言建模,意味着需要处理高维稀疏的 token 特征,并设计适合序列预测的树结构,这与传统分类任务有显著差异。
为什么有人尝试非Transformer路线?
Transformer在语言建模上的统治地位板上钉钉,但它也存在计算成本高、可解释性弱等问题。决策树则天生具备可解释性:每个分支对应明确的特征条件,推理过程可以逐步追踪。对于需要审计或理解模型决策的场景,这种透明性有吸引力。
此外,决策树在训练和推理上的计算模式与神经网络不同,理论上在某些硬件上可能更高效。不过,这些优势能否在语言模型任务中兑现,目前还没有公开的基准数据。
Transformer 的核心是自注意力机制,它允许模型直接建模序列中任意两个位置之间的依赖关系,但计算复杂度随序列长度呈二次增长,且需要大量矩阵运算。相比之下,非Transformer路线如状态空间模型(SSM)、卷积架构、递归神经网络等,试图以不同归纳偏置降低计算成本或提升可解释性。例如,SSM 通过线性递推处理长序列,复杂度为线性;决策树则提供符号化的推理路径。这些探索并非要完全取代Transformer,而是针对特定场景(如长上下文、资源受限、高可解释性需求)提供替代方案,推动架构多样性。
社区反馈与核心质疑
原帖作者明确表示“寻求反馈”,说明项目仍处于早期阶段。Reddit社区的讨论集中在几个方面:
- 表达能力:决策树的深度和分支数量是否足以捕捉自然语言的长距离依赖?
- 规模扩展性:随着词表增大和上下文变长,树的节点数量可能急剧膨胀,训练与存储成本成为挑战。
- 与Transformer的对比:缺乏公开的评测结果,难以判断实际效果。
这些质疑指向一个核心问题:决策树能否在保持可解释性的同时,达到语言模型所需的表达能力。目前没有看到作者公布训练数据规模、参数量或基准测试分数,因此讨论更多停留在概念层面。
长距离依赖指序列中相隔较远的 token 之间的语义关联(如代词指代、篇章连贯性)。Transformer 通过注意力机制可直接建模任意距离的依赖,而决策树依赖分支条件逐层划分,深度有限时难以覆盖远距离关系。若靠增加深度和分支数来弥补,树节点数量会指数级膨胀,导致训练和存储成本不可控。此外,语言模型需要处理开放词表和变长上下文,决策树对连续特征和稀疏 token 的划分效率也面临挑战。这些因素共同构成对决策树表达能力的核心质疑。
对AI架构探索的意义
尽管Arborformer的实用性有待验证,但这类尝试反映了社区对单一架构垄断的反思。近年来,状态空间模型、混合架构等非Transformer路线不断出现,探索不同的归纳偏置。决策树语言模型如果能在小规模任务上展示可行性,或许能为可解释语言模型提供新思路。
对于关注AI架构多样性的开发者,这个项目值得保持关注。作者在Reddit上收集反馈,后续可能会披露更多技术细节和实验结果。
结语
Arborformer目前更像一个概念验证,而非成熟产品。它的价值在于提出问题:语言模型一定要用Transformer吗?决策树能否成为另一种选择?在缺乏实验数据的情况下,这些问题尚无定论,但讨论本身有助于拓宽架构探索的空间。
相关推荐

llm-gemini 0.38.1 修复:Gemini 4 Hydrogen 与 Neon 新增 xhigh 推理级别
llm-gemini 0.38.1 修复了 Gemini 4 Hydrogen 和 Neon 缺失 xhigh 推理级别的问题。对比数据显示,xhigh 档位使 Hydrogen 的输出 token 与成本大幅上升,画面质量明显提升,达到可与 Neon 竞争的水平。
美SEC对英伟达展开调查:或涉会计问题
美SEC对英伟达展开调查:或涉会计问题
美国SEC对英伟达的调查聚焦潜在会计问题,而非产品本身。消息引发Hacker News热议,市场关注AI芯片巨头的财务披露质量与监管信号。

FBI犯罪数据库疑遭黑客攻击,特朗普回应“情况不妙”
FBI国家犯罪信息中心(NCIC)据报遭黑客攻击,FBI已展开调查,特朗普回应称“情况不妙”。本文梳理事件核心、NCIC数据库的重要性及执法数据安全面临的挑战。