Flide
Flide是一种面向决策模型的高效精确推理引擎，核心创新为ForkAttention，通过将逻辑树结构编码为GPU索引，在扁平token流上精确分叉状态，支持标准注意力和循环Gated DeltaNet层，消除预填充重计算并保持概率精确。
时间轴 (近 90 天)
Flide是一种高效且精确的推理引擎，它将决策请求的逻辑树结构与单个扁平化token流中的物理执行解耦。
Flide的核心创新是ForkAttention，它不将每个分支视为独立请求，而是把整个决策请求的逻辑树结构编码为GPU驻留的索引，在单个扁平化的token流上执行。
Flide利用紧凑的预录制执行图来适配多样的请求混合，意味着不同树形结构的请求可以映射到少数预编译的计算图上执行，从而在保持低延迟的同时避免为每个请求动态构建计算图的开销。
在公开的混合模型和决策模型上的广泛评估显示，Flide回答查询的速度比vLLM和SGLang最高快9.5倍。
在总变差距离（total variation distance）上，Flide最接近float32参考，优于对比引擎。
论文目前聚焦于决策模型，Flide方法的通用性仍有待进一步验证。
全部知识事实 (6)
Flide是一种高效且精确的推理引擎，它将决策请求的逻辑树结构与单个扁平化token流中的物理执行解耦。
50%待验证Flide的核心创新是ForkAttention，它不将每个分支视为独立请求，而是把整个决策请求的逻辑树结构编码为GPU驻留的索引，在单个扁平化的token流上执行。
50%待验证Flide利用紧凑的预录制执行图来适配多样的请求混合，意味着不同树形结构的请求可以映射到少数预编译的计算图上执行，从而在保持低延迟的同时避免为每个请求动态构建计算图的开销。
50%待验证在公开的混合模型和决策模型上的广泛评估显示，Flide回答查询的速度比vLLM和SGLang最高快9.5倍。
50%待验证在总变差距离（total variation distance）上，Flide最接近float32参考，优于对比引擎。
50%待验证论文目前聚焦于决策模型，Flide方法的通用性仍有待进一步验证。
50%