待验证50% 置信事实精确时间

矩阵乘法在批量大的推理场景下通常是算力受限，而批量为1的自回归解码时几乎必然是带宽受限

1

来源数

50%

置信度

长期有效

时效性

2026/9/29

首次发现

来源

免费开源新书：从芯片到智能体，系统化提升ML模型速度

涉及实体

矩阵乘法concept 自回归解码concept

相关事实

待验证将矩阵展平喂给MLP会因行数可变导致输入维度不固定，并破坏排列不变性76% 相似待验证应优先融合访存受限的算子，对算力受限的大型算子（如大矩阵乘法）谨慎融合76% 相似待验证自回归推理时batch size通常为1，每个token生成只做一次矩阵-向量乘法，算术强度极低，导致memory-bound问题，单用户场景下GPU利用率往往不到10%73% 相似待验证处理非方阵成本矩阵的标准做法是通过填充（padding）用较大的哑成本值将矩阵补齐为方阵71% 相似已验证代码生成任务对量化的敏感度通常低于数学推理和复杂逻辑任务70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/958828

API

curl https://kongchang.com/api/v1/knowledge/claims/958828

MCP

get_claim(id=958828)