概念Ngram机制 / 条件记忆表
Ngram
DeepSeek v4.1 Flash引入的新型推理机制,通过N-gram序列匹配的条件记忆表实现快速词汇查找,属于非计算型的大规模查找表结构
时间轴 (近 90 天)
10月31日
Ngram查找表每个token只读取少数几行,不需要常驻高速内存;剥离该表后,核心模型的2-bit构建只需152GB,256GB机器可剩余近100GB余量。
待验证50%
9月15日
v4.1 Flash引入名为Ngram的机制,40层中有2层包含条件记忆表,1960亿参数用于以最多4个token序列匹配1600万词表的查找表
待验证50%
9月15日
将8比特的Ngram表转成4比特可省下约100GB,使模型从约475GB降到约385GB
待验证50%