AI推理
AI模型部署阶段将训练好的模型应用于实际输入数据并生成预测或输出的计算过程，与训练阶段相比，推理需求更碎片化、峰值波动更大，对算力规划提出不同挑战
核心事实
时间轴 (近 90 天)
将模型推理能力下沉至边缘节点可以显著降低终端用户的响应延迟
在传统AI推理流程中，数据在GPU执行计算时通常需要以明文形式驻留在内存中，形成「使用中的数据」的安全盲区
随着大模型落地实际业务场景，推理正成为算力消耗的主战场
推理相比训练对低延迟和高吞吐有更苛刻的要求，尤其在面向消费者的实时交互场景中
推理性能正在从单纯的成本考量升级为核心产品差异化能力
模型训练是一次性投入，而推理是每一次用户交互都要付出的持续成本
AI推理正从单机单任务走向网络化、分布式的资源组织形式
在硬件层面，除法和取模运算的开销远高于加法、乘法和位移
Caddi通过结合AI推理与确定性执行来兼顾灵活性与可靠性
AI推理环节的总能耗已逐渐超过训练环节，因为推理是7×24小时持续运行的
还有 2 条时间轴事件
全部知识事实 (13)
AI推理环节的总能耗已逐渐超过训练环节，因为推理是7×24小时持续运行的
65%待验证将模型推理能力下沉至边缘节点可以显著降低终端用户的响应延迟
50%待验证在传统AI推理流程中，数据在GPU执行计算时通常需要以明文形式驻留在内存中，形成「使用中的数据」的安全盲区
50%待验证推理相比训练对低延迟和高吞吐有更苛刻的要求，尤其在面向消费者的实时交互场景中
50%待验证随着大模型落地实际业务场景，推理正成为算力消耗的主战场
50%待验证推理性能正在从单纯的成本考量升级为核心产品差异化能力
50%待验证模型训练是一次性投入，而推理是每一次用户交互都要付出的持续成本
50%待验证AI推理正从单机单任务走向网络化、分布式的资源组织形式
50%待验证在硬件层面，除法和取模运算的开销远高于加法、乘法和位移
50%待验证Caddi通过结合AI推理与确定性执行来兼顾灵活性与可靠性
50%待验证推理任务的计算量远小于训练，且每次请求相对独立，天然适合分布式处理，是Darkbloom这类项目主要瞄准的市场
50%待验证AI大模型公司的推理成本是随用量线性增长的可变成本，而非趋近于零的固定成本，使其成本结构类似工业公司
50%待验证推理计算占比预计将达到AI总算力的三分之二
70%