待验证50% 置信基准精确时间

FP8量化后首token延迟随并发上升明显：32并发时277ms，64并发时跳到1300ms；超过32并发后吞吐不再增长而延迟急剧恶化。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/19

首次发现

有效期至：2027/1/17

来源

自建推理栈：专用GPU上跑生产级AI Agent的实战指南

涉及实体

FP8concept Qwen3 4Bmodel

相关事实

待验证中继转发相比P2P直连往往会引入额外的30-80ms延迟67% 相似已验证测试中每160毫秒节拍的p99延迟为147.4-147.5毫秒，跨三轮共84,000次会话节拍测量零次错过截止时间66% 相似待验证Maximem Synap 声称 P75 召回延迟低于 15 毫秒64% 相似待验证加载 Claude Code 兼容规则集时，Armor 的中位延迟增加 279 ms，P90 增加 334 ms。62% 相似待验证在遵守retry-after基础上叠加全抖动后，最后一个调用在11.8秒完成，发送313次请求，p95为9.1秒，每项指标均优于两种退避公式。62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1071381

API

curl https://kongchang.com/api/v1/knowledge/claims/1071381

MCP

get_claim(id=1071381)