待验证50% 置信事实精确时间
GEMV可以在读取权重的同时完成反量化,而GEMM的分块逻辑让反量化过程变得更复杂
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证Decode阶段每次只产生一个token,形态类似GEMV,算术强度极低,属于memory-bound71% 相似待验证GEMM与逐行GEMV两种prefill内核在相同prompt和贪婪解码下产生的输出前597个字符完全一致,之后开始分叉70% 相似待验证作者加入回退机制:把小批量输入拆分成单行,对每一行分别运行GEMV再拼接结果64% 相似待验证GEMM的计算形式可描述为 C = A × B + C,其中A、B、C均为二维矩阵63% 相似待验证SageAttention 通过混合精度量化提升算术强度,而 FlashAttention 通过分块减少 HBM 读写次数,两者优化维度不同61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1000265API
curl https://kongchang.com/api/v1/knowledge/claims/1000265MCP
get_claim(id=1000265)