[控场AI]
产品

heterodyne

开源量化分析工具,嵌入 llama.cpp 内部逐 token、逐层对比不同量化配置的输出分布差异,支持数值底线对照与可复现实验记录

时间轴 (近 90 天)

10月17日

heterodyne 是一个在 llama.cpp 内部逐 token、逐层对比两个配置以定位量化漂移来源的工具。

待验证50%
10月17日

heterodyne 将每个配置称为一个“臂”(arm),即一个 GGUF 文件加上可能改变其数值的运行时设置(K/V 缓存类型、flash attention、ubatch 大小)。

待验证50%
10月17日

heterodyne 的数值底线通过用奇数批分割重新运行臂 A 来估计,代表同一机器上无害的浮点计算顺序差异。

待验证50%
10月17日

heterodyne 利用 llama.cpp 调度器的 cb_eval 回调,在计算到指定图节点时复制或覆写张量,实现激活移植。

待验证50%
10月17日

该注意力与 MLP 贡献拆分分析每个块每层需要额外两轮计算,12 块在 i7-1355U 笔记本上耗时 29 分钟。

待验证50%

全部知识事实 (5)

来源文章