[控场AI]
概念Decode / 解码阶段 / 生成阶段

Decode阶段

大模型推理的第二阶段,串行逐token生成输出,对显存容量和显存带宽要求高,适合大内存统一内存设备执行

来源文章