概念Pointwise Lexical Embedding / n-gram记忆
PLE
一种将高频n-gram的统计共现信息预先编码进可检索向量的外部记忆结构，在预训练阶段将n-gram级别条件概率蒸馏进固定参数，可冻结后作为独立模块挂载到其他语言模型上
时间轴 (近 90 天)
9月25日
将Qwen3.8 Flash-Next预训练的PLE（n-gram记忆）迁移到Qwen3.5-0.8B模型上，在冻结验证集上取得了5.05%的困惑度下降
待验证50%
9月25日
实验中冻结了Qwen3.5-0.8B主干和约510亿参数的PLE记忆模块，只训练了部署在解码器第3层和第9层的R=1读取器
待验证50%
9月25日
使用真实预训练的PLE效果明显好于随机记忆和打乱记忆的对照组
待验证50%
9月25日
GGUF中打包了Qwen3.5主干加读取器与仲裁张量，庞大的PLE记忆作为外部量化sidecar存在，未塞进模型GGUF
待验证50%