概念hybrid layers / 混合层架构
混合层
在同一模型中交替堆叠标准注意力层与线性注意力或状态空间层,以在长上下文效率与精确召回能力之间取得平衡的架构设计
时间轴 (近 90 天)
11月5日
混合层通过按固定比例(如每若干层插入一层全注意力)混排,使模型在保持长上下文效率的同时保留精确召回能力,该配比是可调超参数。
待验证50%
11月5日
MoE、混合层和三值权重三者可以叠加使用,也各自独立成立。
待验证50%
在同一模型中交替堆叠标准注意力层与线性注意力或状态空间层,以在长上下文效率与精确召回能力之间取得平衡的架构设计
混合层通过按固定比例(如每若干层插入一层全注意力)混排,使模型在保持长上下文效率的同时保留精确召回能力,该配比是可调超参数。
MoE、混合层和三值权重三者可以叠加使用,也各自独立成立。