概念Online Inference / 实时推理
在线推理
将AI模型嵌入业务链路、对每条请求实时返回预测结果的推理方式，与离线批处理分析相对，对延迟有严苛要求
时间轴 (近 90 天)
10月20日
在线推理追求首 token 延迟和尾延迟，需要连续批处理、抢占式调度和精细的 KV Cache 分页管理。
待验证50%
10月13日
在线推理要求低延迟、高并发，厂商需预留 GPU 资源应对突发流量，单位成本较高；批量推理允许任务排队、错峰执行，单价更低。
待验证50%
10月11日
国际卡组织的标准通常要求欺诈检测端到端决策时延低于100-200毫秒
待验证50%