[控场AI]
概念sequential head

顺序头

DLite中一个参数量很小的模块,专门负责在一个推测块内部按顺序建模token之间的因果依赖,以自回归或轻量循环方式在块内逐位生成,从而在丢弃历史的同时保证块内预测质量。

时间轴 (近 90 天)

10月19日

DLite引入轻量级顺序头(sequential head)以低开销恢复推测块内部的因果依赖。

待验证50%

全部知识事实 (1)

来源文章