待验证50% 置信事实精确时间

单流 decode 速度数字不能等同于多并发请求下的吞吐量。

1

来源数

50%

置信度

长期有效

时效性

2026/10/17

首次发现

来源

本地跑大模型前，先问这两个问题：装得下吗？真的快吗？

涉及实体

decode 速度concept 吞吐量concept

相关事实

待验证在16核环境下，Delta Tokenizer编码一个400万字符的请求比串行编码快8.2倍，比LoPT快1.6至2.1倍。67% 相似待验证解码速率上限由显存带宽与模型权重体积的比值决定，与GPU浮点算力关系不大。63% 相似待验证单卡RTX 4090跑4Bit量化的通义千问3-27B约每秒生成49个字60% 相似待验证在LLM顺序解码阶段，流水线并行集群交换的是激活张量而非模型权重；以隐藏维度d=3584为例，FP32精度下每token约14.3KB，动态量化为对称INT8后在网络上只有5.1KB每跳。59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1050210

API

curl https://kongchang.com/api/v1/knowledge/claims/1050210

MCP

get_claim(id=1050210)