待验证50% 置信基准精确时间
BF16 配置(两张 48GB GPU)下,解码速度从 1K 的 25.1 tok/s 到 128K 的 23.9 tok/s,几乎无衰减
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至:2027/1/3
来源
涉及实体
相关事实
待验证实测在RTX 3060(6GB显存)、32GB RAM上运行预量化Krea2 Turbo,1024×1024分辨率8步Euler采样,速度为1.78 s/it,总耗时17.64秒76% 相似待验证以70B的BF16模型为例,产生一个token需读入约140GB权重,打满H100的3.35TB/s显存带宽时每token延迟至少42毫秒,理论TPS上限约24 token/秒76% 相似待验证该方案让16G显存显卡可以运行27B级别模型加192K上下文加视觉能力,但速度上限受硬件带宽约束76% 相似待验证在4张B200上运行gpt-oss-120b纯预填充测试中,DWDP4在MNT 32K/ISL 32K配置下相比DEP4达到1.92倍加速,饱和状态下实现506K对329K tok/s(1.54倍)吞吐提升76% 相似待验证将上下文从 128K 压缩到 32K,同一张 GPU 可服务的并发用户数可能翻两番,存在吞吐量与上下文长度之间的权衡75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/977115API
curl https://kongchang.com/api/v1/knowledge/claims/977115MCP
get_claim(id=977115)