Unverified75% confidenceFactTime unknown
本地运行的开源LLM模型通常只有4K到32K tokens的上下文容量，受硬件内存限制
1
Sources
75%
Confidence
Long-term
Relevance
5/31/2026
First Seen
Sources
Pi Agent实战：终端极简AI编程助手完整使用指南
bilibili大洋彼岸频道
Related Entities
Related Claims
UnverifiedQuantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型75% similarUnverified以 Llama-3 70B 为例，在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms，而处理 2K token 仅需约 50ms74% similarUnverified早期模型的上下文窗口限制为4K tokens74% similarUnverifiedLLM context windows have a fixed capacity limit such as 128K or 200K tokens74% similarUnverified以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/5736API
curl https://kongchang.com/api/v1/knowledge/claims/5736MCP
get_claim(id=5736)