待验证50% 置信基准精确时间

在上述假设下，8192 Token的Prompt在100GbE链路下传输耗时约为预填充耗时的30%，200Gb下约15%，400Gb下约7%。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/19

首次发现

有效期至：2027/1/17

来源

vLLM P/D分离：KV传输成本决定收益的计算法则

rss2026/10/19

涉及实体

Llama-3.1-70Bmodel

相关事实

待验证若量化后模型权重为150GB，以273GB/s带宽读取一遍权重约需0.55秒，理论上单token生成速度约为1.8 token/s（未计入计算延迟和跨机通信开销）75% 相似待验证在同配置对比中，38K单请求吞吐从每秒69.38个Token提高到86.07个，约4K的8路总吞吐从每秒400.16提高到464.1572% 相似待验证在一次约12GB随机文件仓库的测试中，约192KB流向模型通道，而约5.10GiB流向存储通道，分成73个约75MB的分块。70% 相似待验证70B参数模型(140GB权重)在1TB/s带宽下理论最快生成速度约7 tokens/秒70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1069161

API

curl https://kongchang.com/api/v1/knowledge/claims/1069161

MCP

get_claim(id=1069161)