待验证50% 置信解决方案精确时间
SHADOW将注意力状态以1-bit精度写到磁盘,每token占288字节,索引每token仅22字节,查询约1微秒定位记录,注意力状态约0.03ms回灌进模型,不用向量数据库或embedding模型
1
来源数
50%
置信度
长期有效
时效性
2026/9/15
首次发现
来源
涉及实体
相关事实
待验证在视频记忆实验中Gemma 3 4B看十分钟短片每两秒取帧写下298条描述,SHADOW保留这些时刻作为磁盘记忆,在约42MB内存的笔记本上跑出55-56/60成绩73% 相似已验证对于拥有32层、32头注意力的典型7B模型,每个token需约0.5MB显存存储KV Cache,生成1000个token则需额外约500MB显存71% 相似待验证处理128K Token序列所需的注意力矩阵大小是8K Token序列的256倍68% 相似待验证SHADOW不使用训练得到的embedding层,而是用固定的512-bit指纹表示73880个token的词表,冻结表仅4.7MB,可随时添加新词而无需重新训练66% 相似待验证缓存命中率在大模型API调用场景中指KV Cache(键值缓存)的复用比例,模型可直接从缓存中读取已处理token的注意力键值对66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/922676API
curl https://kongchang.com/api/v1/knowledge/claims/922676MCP
get_claim(id=922676)