待验证50% 置信基准精确时间
JetSpec++ 在 NVIDIA GB200 上针对单次请求可达最高 1,361 tokens/秒的生成速度。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
JetSpec++：前瞻并行草稿与自修正加速LLM推理
rss2026/10/14
涉及实体
相关事实
待验证NVIDIA A100的显存带宽为2TB/s，加载280GB的FP32模型需要约140ms，仅权重加载就决定了每秒最多生成约7个token72% 相似待验证LFM2.5-24B-A2B 在单张 NVIDIA B300 私有云加速器上吞吐超过 21,000 tokens/秒。72% 相似待验证在16核环境下，Delta Tokenizer编码一个400万字符的请求比串行编码快8.2倍，比LoPT快1.6至2.1倍。67% 相似待验证实测中模型加载仅耗时几秒，GPU占用从23GB降至约17GB，首次测试提示词处理耗时225ms，生成速度稳定在33.5 tok/s，总输出1500 token。67% 相似待验证使用NVIDIA B300芯片在1兆瓦数据中心可实现约45万token/s总吞吐量，若每用户340 token/s则约1324个并发活跃用户66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038127API
curl https://kongchang.com/api/v1/knowledge/claims/1038127MCP
get_claim(id=1038127)