产品
heterodyne
开源量化分析工具,嵌入 llama.cpp 内部逐 token、逐层对比不同量化配置的输出分布差异,支持数值底线对照与可复现实验记录
时间轴 (近 90 天)
10月17日
heterodyne 是一个在 llama.cpp 内部逐 token、逐层对比两个配置以定位量化漂移来源的工具。
待验证50%
10月17日
heterodyne 将每个配置称为一个“臂”(arm),即一个 GGUF 文件加上可能改变其数值的运行时设置(K/V 缓存类型、flash attention、ubatch 大小)。
待验证50%
10月17日
heterodyne 的数值底线通过用奇数批分割重新运行臂 A 来估计,代表同一机器上无害的浮点计算顺序差异。
待验证50%
10月17日
heterodyne 利用 llama.cpp 调度器的 cb_eval 回调,在计算到指定图节点时复制或覆写张量,实现激活移植。
待验证50%
10月17日
该注意力与 MLP 贡献拆分分析每个块每层需要额外两轮计算,12 块在 i7-1355U 笔记本上耗时 29 分钟。
待验证50%
全部知识事实 (5)
待验证
heterodyne 是一个在 llama.cpp 内部逐 token、逐层对比两个配置以定位量化漂移来源的工具。
50%待验证heterodyne 将每个配置称为一个“臂”(arm),即一个 GGUF 文件加上可能改变其数值的运行时设置(K/V 缓存类型、flash attention、ubatch 大小)。
50%待验证heterodyne 的数值底线通过用奇数批分割重新运行臂 A 来估计,代表同一机器上无害的浮点计算顺序差异。
50%待验证heterodyne 利用 llama.cpp 调度器的 cb_eval 回调,在计算到指定图节点时复制或覆写张量,实现激活移植。
50%待验证该注意力与 MLP 贡献拆分分析每个块每层需要额外两轮计算,12 块在 i7-1355U 笔记本上耗时 29 分钟。
50%