可视化LLM写诗：中文因果结构为何更像矩阵

从英文诗到中文诗：一次有趣的可视化探索

当大语言模型（LLM）在生成一首诗时，它的内部究竟发生了什么？哪些 token 影响了哪些 token 的生成？这类关于模型内部信息流动的问题，一直是可解释性（interpretability）研究的核心议题。

近期，一位开发者在 Reddit 上分享了一项颇具启发性的实验。此前，他已经发布过关于「英文诗歌因果结构可视化」的研究，而这次，他将同样的方法迁移到了中文诗歌上，并得到了一个令人意外的结论：中文诗歌的因果依赖图（DAG）看起来更像一个规整的矩阵，而不是英文那样相对松散的树状结构。

这个视觉上的差异，并非只是审美层面的巧合，而是反映了中英文两种语言在字符组织、韵律结构上的深层差异。

实验方法：用因果图追踪LLM生成过程

什么是因果结构图

所谓「因果结构图」，本质上是把模型在生成每个 token 时对前文各 token 的依赖关系提取出来，用有向无环图（DAG）的形式呈现。图中的节点是一个个字符或 token，边则代表「谁影响了谁」的归因关系（attribution）。

作者使用的模型是 Qwen3-1.7B——一个参数量相对较小的模型，同时承担了「生成」与「归因分析」两项任务。你可能没注意到，即便是这样一个小模型，产出的因果图也已经相当直观、符合人类的语言直觉。这某种意义上说明，语言的结构性规律在模型内部有着相当稳定的表征，并不完全依赖于超大规模参数。

归因关系（attribution）的计算通常基于梯度或注意力权重。常见方法包括：对每个输出 token 计算其关于输入 token 的梯度范数（gradient-based attribution），或直接聚合多头注意力的权重矩阵。有向无环图（DAG）之所以选择「有向」，是因为语言生成具有单向的时序依赖——后生成的 token 可以依赖先前的 token，反之则不成立；「无环」则确保了图的拓扑排序与生成顺序一致，便于追踪信息从提示词逐步传播至最终输出的完整路径。与单纯展示注意力热图不同，DAG 形式能更清晰地呈现多跳依赖链：例如某个关键意象 token 如何先影响了中间的韵脚 token，再通过韵脚间接约束了整句的措辞选择。

韵律与边界 token 的跨语言一致性

作者在实验中观察到一个跨语言的共性：无论是中文还是英文，节奏（rhythm）与边界 token（boundary-token）的行为基本相同。

这里的边界 token 指的是标点、换行、诗句分隔等位置的特殊 token。模型在生成诗歌时，会对这些边界位置表现出明显的注意力聚焦——因为它们标记了韵律单元的起止。这种行为在中英文里高度一致，说明模型对「诗歌的节奏骨架」有着跨语言的统一处理逻辑。

为什么中文诗歌的因果图更像矩阵

汉字的网格化排布特性

真正有趣的差异出现在整体的视觉形态上。作者指出，中文字符在页面上的排布更像一个网格（grid），因此对应的 DAG 读起来就更接近一个矩阵。

这背后的原因值得展开分析：

• 中文的信息密度更高：每个汉字本身就是一个较完整的语义单元，一句绝句往往是「五言」或「七言」的严格等长结构。这种字数上的整齐划一，天然形成了规则的行列关系。
• 英文的 token 长度不均：英文单词由多个子词（subword）token 拼成，长短不一，句子在视觉与结构上都更参差，因此因果图更倾向于树状或不规则的分叉形态。

换句话说，中文诗歌本身在「行数 × 每行字数」上就构成了一个二维矩阵般的排版，而模型的因果依赖恰好在这个规整的框架内流动，于是整张图便呈现出矩阵般的规律感。

子词（subword）分词是现代大语言模型处理英文的标准方式，代表性算法包括 BPE（Byte Pair Encoding）和 WordPiece。以「poetry」为例，它可能被切分为「poet」+「ry」两个 token；而中文汉字由于字符集有限且每字语义独立，绝大多数情况下一个汉字对应一个 token。这一根本差异意味着：同样是五言绝句的二十个汉字，中文模型的 token 序列长度恰好是 20（加上标点），而若将其翻译为英文并进行 subword 分词，token 数量往往会膨胀至 30-50 个，且长度参差不齐。正是这种「一字一 token」的整齐对应，使得中文诗歌的因果依赖矩阵在行列维度上天然对齐，视觉上呈现出规则的网格状。

结构差异对AI可解释性研究的启示

这一发现的意义在于：语言的形式结构，会直接映射到模型内部的信息流形态上。对于绝句这类高度格律化的文本，中文的规整性使得因果关系更容易被观察和归纳。这对研究者是个好消息——格律诗几乎可以作为一种「天然的探针」，用来检验模型是否真正捕捉到了诗歌的结构约束。

「探针（probing）」是可解释性研究的重要方法论之一：研究者选取具有已知、可量化结构的文本，训练或分析模型时检验其内部表征是否编码了该结构。格律诗（无论是中文绝句还是英文十四行诗）因其严格的字数、韵脚和平仄约束，天然构成一类「结构标注完备」的探针文本——研究者无需额外标注，即可直接以格律规则作为检验模型行为的参照基准。相比之下，自由散文的结构边界模糊，因果图的规律性也更难评估。这解释了为什么诗歌在 LLM 可解释性研究中出现频率远高于其他文体。

开源工具 InfoLens：人人可复现的可解释性实验

这项研究最值得称道的一点，是作者将全套工具开源，并提供了可交互的在线演示。

• 在线 Demo：用户可以直接输入提示词（如「写一首绝句，主题是春天」），实时观察模型生成时的因果流动图。
• 源代码：项目名为 InfoLens，托管于 GitHub，任何人都可以在本地复现整套归因流程。
• 配套视频：作者还提供了演示视频，直观展示因果图的动态生成过程。

这种「小模型 + 开源工具 + 可交互演示」的组合，大大降低了可解释性研究的门槛。过去这类工作往往依赖大型模型和复杂的分析流水线，而 InfoLens 证明了：用一个 1.7B 的模型，也能做出直观且有说服力的可视化。

结语：可视化让模型内部不再是黑箱

这项实验虽然规模不大，却提供了一个颇具启发性的视角：通过可视化因果结构，我们可以直观地感受到不同语言在模型内部的「形态差异」。

中文诗歌的矩阵感、英文诗歌的树状感，本质上都是语言结构在神经网络信息流中的投影。随着可解释性工具越来越平民化，未来我们或许能用类似的方法，去审视模型在翻译、推理、代码生成等更复杂任务中的内部机制。

对于关注 AI 可解释性的开发者与研究者而言，InfoLens 这类轻量开源工具值得一试——它让「打开模型黑箱」这件事，变得触手可及。