待验证50% 置信基准精确时间

完整Llama-3.1-8B在batch 1下使用FuTransformer每步解码耗时2.8毫秒，而编译版transformers实现为8.1毫秒。

1

来源数

50%

置信度

短期 (~14 天)

时效性

2026/10/19

首次发现

有效期至：2026/11/2

来源

FP8预填充+INT4解码：Hopper上Llama推理新优化

涉及实体

Llama-3.1-8Bmodel FuTransformerproduct transformersproduct

相关事实

待验证路径B中RTX 3080做Prefill、AI Max 395做Decode，在Q4量化下首字等待时间从4.825秒压缩到1.073秒67% 相似已验证在 T4 显卡上，Laya 单个问题耗时 33 毫秒，批量处理可压到 7 毫秒67% 相似已验证一个30亿参数的Llama在CPU上每次调用耗时1到3秒，而70B模型每次40秒66% 相似待验证1536分辨率的一次生成耗时约360秒，2K生成耗时约540秒64% 相似待验证使用TaoMate的3步ref2va turbo LoRA，在RTX 3090上生成一段9.4秒片段约需4-5分钟，相比8步时的12.5分钟大幅提速64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1065913

API

curl https://kongchang.com/api/v1/knowledge/claims/1065913

MCP

get_claim(id=1065913)