ConceptNgram机制 / 条件记忆表
Ngram
DeepSeek v4.1 Flash引入的新型推理机制,通过N-gram序列匹配的条件记忆表实现快速词汇查找,属于非计算型的大规模查找表结构
Timeline (last 90 days)
Sep 15
v4.1 Flash引入名为Ngram的机制,40层中有2层包含条件记忆表,1960亿参数用于以最多4个token序列匹配1600万词表的查找表
Unverified50%
Sep 15
将8比特的Ngram表转成4比特可省下约100GB,使模型从约475GB降到约385GB
Unverified50%