GEMM
通用矩阵乘法，深度学习中最基础且计算密集的操作，全连接层、注意力机制Q/K/V投影及Transformer前馈网络的核心计算，其执行效率直接决定模型训练和推理的整体吞吐量
时间轴 (近 90 天)
矩阵乘法满足 (A×B)ᵀ = Bᵀ×Aᵀ，交换两个操作数并转置结果不改变计算语义，只改变数据在内存与寄存器中的排布方式。
Candle框架的量化Metal执行路径中，当输入矩阵行数等于1时走GEMV路径，超过1行时进入GEMM路径
在小批量场景下，GEMM实现的额外开销远大于跨行复用权重带来的收益
基准测试显示，并发请求数达到5时逐行GEMV对GEMM的吞吐比跌破100%（90.7%），GEMM重新占优
浮点加法和乘法在IEEE 754标准下不具备结合律，GEMM和GEMV内部求和顺序不同导致同一输入的激活值产生极微小差异
GEMM与逐行GEMV两种prefill内核在相同prompt和贪婪解码下产生的输出前597个字符完全一致，之后开始分叉
GEMV可以在读取权重的同时完成反量化，而GEMM的分块逻辑让反量化过程变得更复杂
GEMM的计算形式可描述为 C = A × B + C，其中A、B、C均为二维矩阵
BLAS（基础线性代数子程序）是深度学习和科学计算的底层基石，神经网络训练与推理依赖大规模矩阵乘法（GEMM）
在Transformer架构的大模型中，绝大部分浮点运算集中在矩阵乘法上，GEMM内核效率直接决定训练吞吐量和推理延迟
还有 5 条时间轴事件
全部知识事实 (16)
通过CUDA Tile，开发者可以更自然地表达矩阵分块乘法（Tiled GEMM），而不必深入处理wmma或mma.sync等底层PTX指令
85%待验证矩阵乘法满足 (A×B)ᵀ = Bᵀ×Aᵀ，交换两个操作数并转置结果不改变计算语义，只改变数据在内存与寄存器中的排布方式。
50%待验证浮点加法和乘法在IEEE 754标准下不具备结合律，GEMM和GEMV内部求和顺序不同导致同一输入的激活值产生极微小差异
50%待验证Candle框架的量化Metal执行路径中，当输入矩阵行数等于1时走GEMV路径，超过1行时进入GEMM路径
50%待验证在小批量场景下，GEMM实现的额外开销远大于跨行复用权重带来的收益
50%待验证GEMV可以在读取权重的同时完成反量化，而GEMM的分块逻辑让反量化过程变得更复杂
50%待验证基准测试显示，并发请求数达到5时逐行GEMV对GEMM的吞吐比跌破100%（90.7%），GEMM重新占优
50%待验证GEMM与逐行GEMV两种prefill内核在相同prompt和贪婪解码下产生的输出前597个字符完全一致，之后开始分叉
50%待验证GEMM的计算形式可描述为 C = A × B + C，其中A、B、C均为二维矩阵
50%待验证BLAS（基础线性代数子程序）是深度学习和科学计算的底层基石，神经网络训练与推理依赖大规模矩阵乘法（GEMM）
50%待验证在Transformer架构的大模型中，绝大部分浮点运算集中在矩阵乘法上，GEMM内核效率直接决定训练吞吐量和推理延迟
50%待验证FP8数值范围较窄、精度更低，正确使用需要在GEMM内核层面实现精细的缩放因子管理与数值稳定性保障
50%待验证TileLang 最直接的应用场景集中在FlashAttention、GEMM（通用矩阵乘法）、量化与反量化等深度学习核心算子上
50%待验证MoE模型推理瓶颈主要在KV Cache读写(受显存带宽限制)和MoE路由专家的GEMM计算(形状不规整的计算密集型任务)两处
50%待验证通用矩阵乘法（GEMM）是深度学习推理中最基础也最计算密集的操作，英伟达Tensor Core和谷歌TPU脉动阵列都是针对GEMM的特化优化
50%待验证实验在一个九核FP16 GEMM（半精度通用矩阵乘法）测试集上进行
50%