概念sequential head
顺序头
DLite中一个参数量很小的模块,专门负责在一个推测块内部按顺序建模token之间的因果依赖,以自回归或轻量循环方式在块内逐位生成,从而在丢弃历史的同时保证块内预测质量。
时间轴 (近 90 天)
10月19日
DLite引入轻量级顺序头(sequential head)以低开销恢复推测块内部的因果依赖。
待验证50%
DLite中一个参数量很小的模块,专门负责在一个推测块内部按顺序建模token之间的因果依赖,以自回归或轻量循环方式在块内逐位生成,从而在丢弃历史的同时保证块内预测质量。
DLite引入轻量级顺序头(sequential head)以低开销恢复推测块内部的因果依赖。