待验证50% 置信事实精确时间
引擎使用 O_DIRECT 和固定内存进行专家权重的流式读取,每个专家重写为 3,096,576 字节的块(正好 756 个 4KiB 页)以满足对齐要求。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
8GB显卡跑120B Nemotron:跳过零值,找真瓶颈
rss2026/10/17
涉及实体
相关事实
待验证Anatomy 的 SKILL.md 大小为 31,600 字节,外加约 300KB 的九份参考指南,运行时按需加载;注入的提示词约 7,700 输入 token,CPU 上读取需 45 到 70 秒,生成速度约每秒 4 到 5.5 token。64% 相似待验证Llama 3.3 70B的KV缓存计算公式为:2(键和值)× 80层 × 8个KV头 × 128头维度 × 2字节 = 每token 327,680字节。64% 相似待验证作者实测IQ3_S模型运行时占用约50多GB内存,打开生成的HTML并调试时内存占用飙升到62GB64% 相似待验证在 Intel i5-9500 上,Qwen2.5-7B-Instruct 模型读取速度约为每秒 8 个 token,读取提示词占每次模型调用时间的约 90%。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053038API
curl https://kongchang.com/api/v1/knowledge/claims/1053038MCP
get_claim(id=1053038)