ModelQwengram-0.8B
Qwen3.5-0.8B
阿里巴巴Qwen系列的0.8B参数小型语言模型，可通过外挂记忆模块与动态门控机制提升语言建模能力
Timeline (last 90 days)
Sep 25
将Qwen3.8 Flash-Next预训练的PLE（n-gram记忆）迁移到Qwen3.5-0.8B模型上，在冻结验证集上取得了5.05%的困惑度下降
Unverified50%
Sep 25
实验中冻结了Qwen3.5-0.8B主干和约510亿参数的PLE记忆模块，只训练了部署在解码器第3层和第9层的R=1读取器
Unverified50%
Sep 25
Qwen3.5-0.8B原版NLL为2.905585，PPL为18.2759；Qwengram-0.8B的NLL为2.853786，PPL为17.3534
Unverified50%