[控场AI]
模型LiLiCorr drafter

LiLiCorr

NVIDIA为Nemotron 3.5 Bolt配套提供的草稿模型,用于投机解码,通过DFlash实现,默认每次预测7个投机token。

时间轴 (近 90 天)

10月16日

DGX Spark (GB10) 拥有 128 GB 统一内存,可使用官方 NVFP4 + vLLM + LiLiCorr drafter 运行 Nemotron 3.5 Super VL。

待验证50%
10月16日

在 DGX Spark 上,官方 Quick Start 使用 vllm/vllm-openai:v0.32.0,关键参数包括 --max-num-seqs 1、--gpu-memory-utilization 0.75、投机解码 LiLiCorr drafter 配 7 个草稿 token 以及 --reasoning-parser nemotron_v3 等。

待验证50%
10月15日

NVIDIA 发布了 Nemotron-3.5-Super-VL-120B-A12B 模型家族,涵盖基础版本以及 NVFP4、BF16 多种量化格式,并引入了 LiLiCorr 推测解码方案。

待验证50%
10月15日

Nemotron 3.5 Bolt 配套提供 LiLiCorr drafter 进行投机解码,通过 DFlash 实现,vLLM 配置中默认带 7 个投机 token。

待验证50%

全部知识事实 (4)

来源文章