待验证50% 置信事实精确时间

35B模型在FP16精度下需要约70GB显存，远超RTX 5090的32GB容量，因此单卡部署需量化

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

手写C/CUDA推理引擎：RTX 5090运行Qwen 35B模型的极致优化

相关事实

已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行82% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB82% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/566986

API

curl https://kongchang.com/api/v1/knowledge/claims/566986

MCP

get_claim(id=566986)