训练
用海量数据让模型学习参数的过程，通常需要极高的浮点算力与显存带宽，是AI芯片算力需求的重要场景之一。
时间轴 (近 90 天)
推理（Inference）指模型加载后根据输入提示词逐 Token 生成回答的计算过程，与训练不同；本地运行时推理在用户 CPU 或 GPU 上完成。
上下文、记忆和训练是三个不同的概念：上下文是本次回复可用的信息，记忆是被选择保存的信息，训练是模型学习底层模式的过程。
发送一条聊天消息不会立即重新训练模型；训练通过大量数据反复调整模型参数，耗时数周甚至数月，通常在离线完成；推理则用已训练好的固定参数处理新输入。
训练是指用大规模数据反复迭代模型参数，属于离线、长周期任务；推理是模型上线后响应用户每一次请求的前向计算过程，是实时、高并发的在线任务。
训练可以集中在少数超算集群完成，但推理是持续开销，压低推理每token成本有助于占据AI产品毛利主动。
训练追求吞吐量最大化，而推理对延迟极为敏感且流量波动难以预测
推理市场对每瓦性能的敏感度远高于训练市场
深度学习的生命周期通常分为训练（Training）和推理（Inference）两个阶段
全部知识事实 (8)
推理（Inference）指模型加载后根据输入提示词逐 Token 生成回答的计算过程，与训练不同；本地运行时推理在用户 CPU 或 GPU 上完成。
50%待验证上下文、记忆和训练是三个不同的概念：上下文是本次回复可用的信息，记忆是被选择保存的信息，训练是模型学习底层模式的过程。
50%待验证发送一条聊天消息不会立即重新训练模型；训练通过大量数据反复调整模型参数，耗时数周甚至数月，通常在离线完成；推理则用已训练好的固定参数处理新输入。
50%待验证训练是指用大规模数据反复迭代模型参数，属于离线、长周期任务；推理是模型上线后响应用户每一次请求的前向计算过程，是实时、高并发的在线任务。
50%待验证训练可以集中在少数超算集群完成，但推理是持续开销，压低推理每token成本有助于占据AI产品毛利主动。
50%待验证训练追求吞吐量最大化，而推理对延迟极为敏感且流量波动难以预测
50%待验证推理市场对每瓦性能的敏感度远高于训练市场
50%待验证深度学习的生命周期通常分为训练（Training）和推理（Inference）两个阶段
50%