待验证75% 置信事实时间未知
本地运行的开源LLM模型通常只有4K到32K tokens的上下文容量，受硬件内存限制
1
来源数
75%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
Pi Agent实战：终端极简AI编程助手完整使用指南
bilibili大洋彼岸频道
涉及实体
相关事实
待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型75% 相似待验证以 Llama-3 70B 为例，在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms，而处理 2K token 仅需约 50ms74% 相似待验证早期模型的上下文窗口限制为4K tokens74% 相似待验证LLM context windows have a fixed capacity limit such as 128K or 200K tokens74% 相似待验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/5736API
curl https://kongchang.com/api/v1/knowledge/claims/5736MCP
get_claim(id=5736)