概念exact-input single flight / single flight

单飞协调

LLM推理中的并发协调策略，相同输入的请求中一个成为领导者执行预填充计算，其余作为跟随者等待并复用其缓存结果

来源文章