待验证50% 置信事实精确时间
该用户在8GB显存的GPU上，32k上下文下运行稳定，推到42k上下文时距离显存崩溃只剩约130MB余量，无法上64k。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/20
首次发现
有效期至：2027/1/18
来源
涉及实体
相关事实
待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡77% 相似待验证实测中模型加载仅耗时几秒，GPU占用从23GB降至约17GB，首次测试提示词处理耗时225ms，生成速度稳定在33.5 tok/s，总输出1500 token。76% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。76% 相似待验证763B全量FP8权重分为48个分片，合计约510GB，消费级硬件难以承载；4比特量化相对稳定，3比特会出现死循环。74% 相似待验证在8GB显存的消费级显卡上，ActionAssist以Q6_K_L量化格式配合32k上下文窗口和8位KV缓存量化，能够达到122 tokens/秒的推理速度73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1078494API
curl https://kongchang.com/api/v1/knowledge/claims/1078494MCP
get_claim(id=1078494)