待验证50% 置信事实精确时间

以float16计算，一个100K词表的完整概率分布约为200KB

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

X-CoSD框架详解：跨词表协作推测解码如何加速LLM推理

涉及实体

相关事实

已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB67% 相似待验证LLaMA-2 70B 总参数约 700 亿均匀分布于 80 层，每层约 8.75 亿参数，FP16 精度下单层约占 1.75GB 显存65% 相似已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/893640

API

curl https://kongchang.com/api/v1/knowledge/claims/893640

MCP

get_claim(id=893640)