[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Decode / 解码阶段 / 生成阶段
Decode阶段
大模型推理的第二阶段,串行逐token生成输出,对显存容量和显存带宽要求高,适合大内存统一内存设备执行
来源文章
显卡涨疯了怎么办?统一内存+独显异构加速部署大模型
9月26日