待验证50% 置信基准精确时间

GEMM与逐行GEMV两种prefill内核在相同prompt和贪婪解码下产生的输出前597个字符完全一致，之后开始分叉

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

连续批处理为何拖慢了LLM推理引擎？一次Metal内核排查实录

涉及实体

GEMMconcept GEMVconcept

相关事实

待验证GEMV可以在读取权重的同时完成反量化，而GEMM的分块逻辑让反量化过程变得更复杂70% 相似待验证Decode阶段每次只产生一个token，形态类似GEMV，算术强度极低，属于memory-bound69% 相似待验证GEMM的计算形式可描述为 C = A × B + C，其中A、B、C均为二维矩阵57% 相似待验证作者加入回退机制：把小批量输入拆分成单行，对每一行分别运行GEMV再拼接结果55% 相似待验证WASM 利用编译隔离，将加密逻辑用 C/C++/Rust 编写后编译为 .wasm 二进制模块，反编译为 WAT 文本格式后仍难以理解55% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000271

API

curl https://kongchang.com/api/v1/knowledge/claims/1000271

MCP

get_claim(id=1000271)