待验证50% 置信权衡取舍精确时间

单个70B参数模型可能占用40GB以上显存，单张A100仅能承载极有限的并发请求

1

来源数

50%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

Ollama获6500万美元B轮：85%财富500强已部署本地大模型

redditr/ollama2026/7/10

相关事实

待验证70B级别的模型即便经过量化，往往也需要40GB以上显存或多卡配置77% 相似待验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量77% 相似待验证1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB71% 相似待验证量化格式可将70B参数模型的运行内存从140GB压缩至40GB以内71% 相似待验证对于数十亿参数的SD模型，LoRA文件通常只有10-200MB70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/486502

API

curl https://kongchang.com/api/v1/knowledge/claims/486502

MCP

get_claim(id=486502)