待验证50% 置信事实精确时间
单机8×H100(640GB显存)在FP8下勉强可以加载Muse Spark,但1M上下文的实际推理需要更激进的分片或量化策略。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至:2027/1/14
来源
Meta发布Muse Spark开源权重:816B参数、1M上下文与部署指南
rss2026/10/16
涉及实体
相关事实
待验证FP8量化将模型权重从FP16压缩为8位浮点表示,在NVIDIA Hopper架构(H100/H200)上可获得原生加速,且相比INT8对精度损失更小69% 相似待验证FP8是专为深度学习推理加速设计的低精度格式,相比FP16可将模型内存占用降低一半,并在支持FP8的硬件(如NVIDIA H100、RTX 40系列GPU)上获得推理加速66% 相似待验证现代GPU如NVIDIA H100、H800原生支持FP8计算,理论上可实现约2倍吞吐量提升66% 相似待验证借助llama.cpp、Ollama等推理框架,普通消费级GPU甚至仅凭CPU即可运行7B至14B参数模型64% 相似已验证NPU 针对低精度(INT8/FP16)矩阵乘法进行专门优化,在运行量化后的轻量级推理模型时能以 GPU 数分之一的功耗达到相近或更高的吞吐量63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044058API
curl https://kongchang.com/api/v1/knowledge/claims/1044058MCP
get_claim(id=1044058)