inside-llm:开源工具透视LLM内部,逐token对比量化差异

开源工具inside-llm在浏览器中逐token对比两个量化LLM的内部状态与采样链。
inside-llm 是一款基于 llama.cpp 的开源可视化工具,旨在让大语言模型的推理过程变得可见。它同时加载两个共享 tokenizer 的 GGUF 模型,在浏览器中实时展示每个 token 的概率、完整候选分布以及采样链各阶段(惩罚、top-k、top-p、min-p、温度、GBNF 语法)的候选保留情况。工具提供锁步和自由两种对比模式,用品红色标记模型分叉位置,并计算熵、Jensen-Shannon 散度与双向 KL 散度来量化分歧。分支树配合 KV 状态快照支持精确回溯,logit lens 则以 2D/3D 形式展示每层对下一 token 的预测。工具采用 C++17 单进程链接 llama.cpp,通过 WebSocket 向 Svelte 5 页面推送二进制帧,本地运行、无遥测,适合量化对比实验与模型调试。
为什么要观察LLM内部?
大语言模型(LLM)的推理过程常被视为黑箱。当我们比较同一模型的不同量化版本时,往往只能看到最终输出的差异,却不知道差异从哪个token开始、由什么因素导致。一位开发者在Reddit上发布了开源工具inside-llm,试图让这个过程变得可见。它基于llama.cpp加载一个或两个GGUF模型,在浏览器中实时展示模型生成文本时的内部状态。

据开发者介绍,该工具的核心目标是回答两个问题:不同量化之间到底发生了什么变化?如果能看到这些变化,是否能更好地理解模型行为?
功能拆解:从token概率到采样链
inside-llm提供了多个可视化模块,覆盖从原始logits到最终输出的完整链路。
流式视图(Stream)
工具以列的形式展示每个模型的文本流,每个token的亮度代表其概率高低。当两个模型在某个位置做出不同选择时,会标记为品红色。它支持两种模式:锁步模式(两个模型读取相同文本,便于逐位置对比)和自由模式(各自按自己的选择生成,直到分叉)。
候选分布(Candidates)
对于每次选择,工具展示完整的候选分布,用镜像条形图对比模型A和B,并计算熵、有效选项数量、Jensen-Shannon散度以及双向KL散度。这些指标能帮助判断两个模型在同一位置的确定性差异。
Jensen-Shannon 散度(JSD) 与 KL 散度是衡量两个概率分布差异的常用指标。KL 散度 (D_{KL}(P|Q)) 表示用分布 Q 近似 P 时损失的信息量,但它不对称且可能无界。Jensen-Shannon 散度先取两个分布的均值 (M=(P+Q)/2),再计算 (\frac{1}{2}D_{KL}(P|M)+\frac{1}{2}D_{KL}(Q|M)),结果对称且有界(以 2 为底时范围为 0 到 1),更适合直接比较两个模型在同一位置的输出分布。双向 KL 散度则分别计算 (D_{KL}(P|Q)) 和 (D_{KL}(Q|P)),能揭示分歧的方向性:例如模型 A 在某个 token 上更集中,而模型 B 更分散时,两个方向的 KL 值会呈现不同量级。这些指标配合熵(衡量单个分布的确定性)和有效选项数量(概率分布的等效候选数),可以综合判断量化是否导致模型在关键位置变得过度自信或过度随机。
采样链追踪(Gates)
采样器链的每个阶段——惩罚、top-k、top-p、min-p、温度、GBNF语法——都被逐级追踪。工具会显示每个阶段后有多少候选被保留,以及分布如何变化。链的顺序和随机种子均可配置,保证了实验的可复现性。
GBNF 语法是 llama.cpp 使用的语法约束格式,全称为 GGML BNF(巴科斯范式变体)。它允许用户以文本规则描述合法的输出结构,例如 JSON schema 或特定编程语言片段,从而在采样阶段直接屏蔽不符合语法的 token。在采样链中,GBNF 通常位于最后一级:top-k、top-p 等操作先按概率筛选候选,语法约束再剔除非法 token,最终温度缩放后采样。由于语法过滤会显著改变候选分布的形状(某些位置可能只剩一个合法 token),观察该阶段前后的候选数量变化,有助于判断语法约束对生成多样性的实际影响,以及不同量化模型在语法约束下是否出现行为分歧。
时间线与分支(Timeline & Branching)
时间线展示两个模型沿整个文本的熵和散度变化,以及分支树。用户可以点击任意候选节点,从该点继续生成。每个分支都保留在树中,跳回节点是精确的——因为每个模型维护了KV状态快照,无需重新生成。
KV 状态快照指在自回归生成过程中,对每个 Transformer 层的键(Key)和值(Value)缓存进行完整保存。LLM 生成时,已处理 token 的 K/V 会被缓存以避免重复计算,但标准实现只保留当前序列的缓存。inside-llm 为每个模型维护可回滚的快照,使得点击分支树中任意历史节点时,能直接恢复到该点的 K/V 缓存并继续生成,而无需从头重新计算前缀。这要求快照在内存或显存中占用与序列长度成正比的存储空间,也是工具要求两个模型同时放入 VRAM 的原因之一。精确回溯能力让用户可以反复探索不同采样路径,而不必担心生成成本。
Logit Lens
通过--lens参数,工具可以展示每一层对下一个token的预测,以2D热力图或3D浮雕图呈现。这为理解模型内部表征的逐层演化提供了直观视角。
Logit Lens 是一种无需额外训练即可探查 Transformer 内部表征的技术。其做法是:将中间某一层的隐藏状态直接送入模型的最终输出投影层(通常是 unembedding 矩阵),得到该层对下一个 token 的预测分布。由于每一层的隐藏状态维度与最终层一致,这种“提前解码”在计算上可行。通过比较各层的预测与最终输出,可以观察模型是否在浅层就已形成倾向、哪些层开始收敛到正确答案,以及量化误差是否在某一层被放大。在 inside-llm 中,--lens 参数将每一层的预测以热力图或 3D 浮雕图呈现,使逐层演化过程变得直观,尤其适合对比两个量化版本在中间层的表征差异。
技术实现与使用方式
inside-llm采用单个C++17进程直接链接llama.cpp(当前使用stable分支)。每一步读取模型A(以及同上下文下的模型B)的完整logits,计算指标和采样链,并用自带的种子采样器绘制token。紧凑的二进制帧通过WebSocket发送到Svelte 5 + Canvas 2D页面(3D浮雕图才懒加载three.js),网页也嵌入在二进制中。
同一帧流压缩后即为录制会话,可在静态页面中回放,无需引擎、模型或GPU。
使用上,工具提供Linux(glibc 2.35+)和Windows的自包含包,支持CUDA或Vulkan(Vulkan覆盖AMD、Intel Arc和NVIDIA)。解压运行后浏览器自动打开模型选择器,或通过inside-llm -a A.gguf -b B.gguf指定模型。工具仅监听127.0.0.1,无账户、无遥测,采用MIT许可证。
限制与适用场景
开发者坦诚列出了限制:两个模型必须共享tokenizer(例如同一模型的两种量化、基础模型与微调版,或同一系列中保持tokenizer的尺寸);两个模型需同时放入VRAM,且一次只使用一块GPU;集成显卡不被使用,无独立GPU时回退到CPU(速度较慢);仅支持文本,不支持分片GGUF和嵌入模型。
这些限制意味着inside-llm更适合在拥有独立GPU的本地环境中进行量化对比实验。开发者特别邀请反馈:你会首先比较哪些模型对(imatrix与非imatrix、基础版与abliterated/微调版、Unsloth UD与标准量化等)?以及是否需要增加其他逐位置指标?
对开发者和研究者的意义
量化是LLM部署中的常见优化手段,但不同量化方案对模型行为的影响往往难以精确评估。inside-llm将对比粒度细化到token级别,并提供了采样链和层间预测的可视化,为量化研究、模型调试和教学演示提供了实用工具。其开源属性和本地运行方式也降低了使用门槛。
对于关注模型可解释性或量化质量的开发者,这个工具值得尝试。项目代码和发布包可在GitHub获取,项目页面提供了更多示例和说明。
相关推荐

普朗克长度是最小距离吗?物理学家为何存疑
普朗克长度常被称为宇宙最小距离,但科普视频指出这一说法从未被实验证实。本文解析普朗克长度的来源、显微镜思想实验的障碍,以及它真正告诉我们的——量子引力变得不可回避的尺度,而非时空像素。

AI代理驱动支出管理,Payhawk获2.8亿美元融资
Payhawk宣布完成2.8亿美元融资,估值达20亿美元。这家成立于2018年的企业财务管理平台以AI代理追踪和管理费用与采购,本文分析其产品定位演进、估值信号及对企业支出管理赛道的影响。

Snapchat开放AI助手构建AR滤镜:支持Claude Code与Cursor
Snapchat 宣布 Lens 创作者可用自然语言描述 AR 滤镜需求,由 Claude Code、Cursor 等 AI 助手完成从构建到完成的整个开发流程,AR 创作门槛大幅降低。