待验证50% 置信基准精确时间
在 8 块 NVIDIA B300 GPU 上，一个 470 亿参数的 MoE 模型在 Olmo-core 3 新框架上达到每 GPU 每秒约 52,000 tokens，而旧实现只有约 19,400，吞吐量提升约 2.7 倍；Ai2 将此标注为“初步结果”。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/14
首次发现
有效期至：2026/10/28
来源
涉及实体
相关事实
待验证官方实测：一个 24 帧 720p MP4、64 采样约消耗 58 GPU 秒，折合约 6 日元。74% 相似待验证JANCTION Render 每个新 key 赠送 500 日元 GPU 时间（5000 GPU 秒），有效期 14 天，不需要绑卡；之后预览任务每天免费 2 GPU 分钟，其他 GPU 时间按 0.1 日元/GPU 秒计费。70% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。70% 相似待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡69% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025298API
curl https://kongchang.com/api/v1/knowledge/claims/1025298MCP
get_claim(id=1025298)