SHADOW-50M
由Reddit开发者QLNI从零训练的超小型语言模型，实际44M参数，采用三元权重和冻结指纹词表设计，模型文件仅19.8MB，在CPU上可达约1900 tok/s推理速度，专为极致压缩和本地运行优化
时间轴 (近 90 天)
SHADOW-50M是一个从零训练、消化了450亿token的完整语言模型，实际拥有44M参数，模型体积为19.8MB
SHADOW-50M在笔记本CPU上以约1900 tok/s运行，内存占用仅41MB
SHADOW-50M使用三元权重，所有参数被约束为{-1, 0, +1}三种取值，理论上每个参数只需1.58 bit
SHADOW不使用训练得到的embedding层，而是用固定的512-bit指纹表示73880个token的词表，冻结表仅4.7MB，可随时添加新词而无需重新训练
作者通过直接往冻结指纹表加8600行修复缺失词片，不训练不改权重，此前公布的34个答案全部保持不变
冻结指纹表在人类词相似度评测上取得0.594的Spearman相关性，而随机编码只有-0.057，说明固定指纹携带了有意义的语义结构
SHADOW通过输出标记如[calc]347*86[eq]触发固定电路在readout阶段接管计算，不使用计算器API、工具调用或prompt粘贴，为算术、百分比、日期、单位换算等做了电路
SHADOW将注意力状态以1-bit精度写到磁盘，每token占288字节，索引每token仅22字节，查询约1微秒定位记录，注意力状态约0.03ms回灌进模型，不用向量数据库或embedding模型
在1亿token规模下，档案库28.8GB加2.2GB索引在磁盘上，进程内存靠memory-map只占约28MB
在重复提问上，索引强化使top-1命中率从0.571升到0.743，全程没有训练模型
还有 4 条时间轴事件
全部知识事实 (14)
SHADOW-50M是一个从零训练、消化了450亿token的完整语言模型，实际拥有44M参数，模型体积为19.8MB
50%待验证SHADOW-50M在笔记本CPU上以约1900 tok/s运行，内存占用仅41MB
50%待验证SHADOW-50M使用三元权重，所有参数被约束为{-1, 0, +1}三种取值，理论上每个参数只需1.58 bit
50%待验证SHADOW不使用训练得到的embedding层，而是用固定的512-bit指纹表示73880个token的词表，冻结表仅4.7MB，可随时添加新词而无需重新训练
50%待验证作者通过直接往冻结指纹表加8600行修复缺失词片，不训练不改权重，此前公布的34个答案全部保持不变
50%待验证冻结指纹表在人类词相似度评测上取得0.594的Spearman相关性，而随机编码只有-0.057，说明固定指纹携带了有意义的语义结构
50%待验证SHADOW通过输出标记如[calc]347*86[eq]触发固定电路在readout阶段接管计算，不使用计算器API、工具调用或prompt粘贴，为算术、百分比、日期、单位换算等做了电路
50%待验证SHADOW将注意力状态以1-bit精度写到磁盘，每token占288字节，索引每token仅22字节，查询约1微秒定位记录，注意力状态约0.03ms回灌进模型，不用向量数据库或embedding模型
50%待验证在1亿token规模下，档案库28.8GB加2.2GB索引在磁盘上，进程内存靠memory-map只占约28MB
50%待验证在重复提问上，索引强化使top-1命中率从0.571升到0.743，全程没有训练模型
50%待验证在标准评测上Supra-50M领先SHADOW：ARC-Easy 0.435对0.307，PIQA 0.600对0.570，WikiText-2困惑度165对186
50%待验证在视频记忆实验中Gemma 3 4B看十分钟短片每两秒取帧写下298条描述，SHADOW保留这些时刻作为磁盘记忆，在约42MB内存的笔记本上跑出55-56/60成绩
50%待验证SHADOW作为Qwen3-32B的draft model，通过推测解码把llama.cpp生成速度从19.7提到28.5 tok/s
50%待验证SHADOW内核编译成WebAssembly后能在浏览器标签页以约500 tok/s运行，完全离线
50%