待验证50% 置信事实精确时间
该测试的硬件基准为10-16GB显存配合26-32GB内存，借助Kobold或llama.cpp后端，可在最高64K上下文窗口下运行
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/11
首次发现
有效期至：2027/1/9
来源
涉及实体
相关事实
已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB78% 相似待验证24GB显存建议上下文窗口设为64K，较小显存可降至32K77% 相似已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行75% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限72% 相似已验证35B模型在FP16精度下需要约70GB显存，远超RTX 5090的32GB容量，因此单卡部署需量化72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/999471API
curl https://kongchang.com/api/v1/knowledge/claims/999471MCP
get_claim(id=999471)