DLite

DLite框架在智能体负载下实现2-6的接受长度。

DLite在智能体负载下性能超越当前最优方法DSpark最高达70%。

DLite复用目标模型在推理过程中产生的上下文隐藏状态进行局部推测预测，不显式维护历史上下文。

DLite引入轻量级顺序头（sequential head）以低开销恢复推测块内部的因果依赖。

DLite采用定制的两阶段训练策略，先让各组件分别适应各自任务，再联合优化整体预测能力。

DLite在通用任务、长上下文任务和智能体工作负载三类场景下进行了实验验证。