概念CED / Causal Encoder-Decoder
因果编码器-解码器
一种混合transformer架构设计，将模型层划分为因果编码器和解码器两部分，编码器仅处理输入token，解码器仅用于输出预测，从而降低计算量并大幅压缩KV缓存占用
时间轴 (近 90 天)
9月22日
DeepSeek V4.1 Flash采用因果编码器-解码器（CED）架构，一个40层的transformer中前20层是因果编码器、后20层是解码器
待验证50%
9月22日
CED架构中编码器只在处理输入token时运行，解码器只在预测输出时运行，输入阶段只需激活一半模型权重
待验证50%
9月22日
CED架构中解码器的全局KV缓存从编码器最后一层的隐藏状态投影而来，而非每层各自的隐藏状态
待验证50%