待验证70% 置信事实时间未知

GPT-4级别模型的128K上下文窗口的KV缓存可能占用数十GB显存

1

来源数

70%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Augment Code架构揭秘：专用子代理替代KV缓存，成本降90%

twitterAugmentCode

涉及实体

GPT-4model KV缓存concept

相关事实

待验证GPT-OSS 120B版本的模型文件大小约为60.8GB，经过了约4-bit量化处理79% 相似待验证H100的内存带宽约3.35TB/s，GPT-4规模模型单次生成一个Token需读取约1TB参数数据，理论上每秒最多生成约3个Token79% 相似待验证GPT-3的参数量达1750亿，仅存储这些权重就需要数百GB的空间76% 相似待验证GPT-OSS 20B运行时内存占用约10GB，显存占用约14.5GB75% 相似待验证GPU上下文切换需保存完整GPU状态（包括寄存器文件、共享内存和L1缓存），数据量可达数百MB，而CPU上下文切换仅需保存几KB73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/27508

API

curl https://kongchang.com/api/v1/knowledge/claims/27508

MCP

get_claim(id=27508)