待验证50% 置信事实精确时间
研究在 TinyStories、WikiText-103 和 CNN/DailyMail 三个数据集上进行验证，将每份语料从 512 个 chunk 扩大到 2,048 个 chunk，每个 chunk 为 64 个 token
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证处理128K Token序列所需的注意力矩阵大小是8K Token序列的256倍66% 相似待验证在CPU上进行文本分类时，256或512 tokens的分块大小通常优于8192的大窗口65% 相似待验证Base64 编码将每3字节二进制数据拆分为4组6位，输出长度约为原始数据的4/3倍65% 相似待验证KV Cache 在 Decode 阶段缓存此前所有 Token 的 Key 和 Value 矩阵，随对话轮次和上下文窗口增长而膨胀，长文本场景下可占用几 GB 到几十 GB 内存64% 相似待验证SHADOW将注意力状态以1-bit精度写到磁盘，每token占288字节，索引每token仅22字节，查询约1微秒定位记录，注意力状态约0.03ms回灌进模型，不用向量数据库或embedding模型63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1001474API
curl https://kongchang.com/api/v1/knowledge/claims/1001474MCP
get_claim(id=1001474)