[KongchangAI]
ConceptNgram机制 / 条件记忆表

Ngram

DeepSeek v4.1 Flash引入的新型推理机制,通过N-gram序列匹配的条件记忆表实现快速词汇查找,属于非计算型的大规模查找表结构

Timeline (last 90 days)

Sep 15

v4.1 Flash引入名为Ngram的机制,40层中有2层包含条件记忆表,1960亿参数用于以最多4个token序列匹配1600万词表的查找表

Unverified50%
Sep 15

将8比特的Ngram表转成4比特可省下约100GB,使模型从约475GB降到约385GB

Unverified50%

All Facts (2)

Source Articles