Unverified70% confidenceFactTime unknown
GPT-4级别模型的128K上下文窗口的KV缓存可能占用数十GB显存
1
Sources
70%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
Augment Code架构揭秘：专用子代理替代KV缓存，成本降90%
twitterAugmentCode
Related Entities
Related Claims
UnverifiedGPT-OSS 120B版本的模型文件大小约为60.8GB，经过了约4-bit量化处理79% similarUnverifiedH100的内存带宽约3.35TB/s，GPT-4规模模型单次生成一个Token需读取约1TB参数数据，理论上每秒最多生成约3个Token79% similarUnverifiedGPT-3的参数量达1750亿，仅存储这些权重就需要数百GB的空间76% similarUnverifiedGPT-OSS 20B运行时内存占用约10GB，显存占用约14.5GB75% similarUnverifiedGPU上下文切换需保存完整GPU状态（包括寄存器文件、共享内存和L1缓存），数据量可达数百MB，而CPU上下文切换仅需保存几KB73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/27508API
curl https://kongchang.com/api/v1/knowledge/claims/27508MCP
get_claim(id=27508)