待验证50% 置信基准精确时间
在 agent 轮次上,并发 agent 数为 1 时中位数 186 tok/s、p5 134 tok/s;为 4 时中位数 59 tok/s、p5 52 tok/s;为 6 时中位数 40 tok/s、p5 34 tok/s。文章设定每人 40 tok/s 为标准,四条流并发留 10% 余量即为这台机器的容量。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/16
首次发现
此条事实已过期,仅作历史留存,不再代表当前状态
有效期至:2026/10/30(已过期)
来源
763B MoE 塞进两张 96GB 显卡:闲置专家丢进主机内存
rss2026/10/16
涉及实体
相关事实
待验证一个Agent的总Token消耗可能达到50K-100K,而同样的对话在Chat模式下可能只需要5K68% 相似待验证使用llama.cpp运行IQ3_XXS量化模型时,输出速度仅为15 tok/s,提示处理为100-120 tok/s,而自研引擎将同样量化提升到约65 tok/s输出、430 tok/s提示处理,接近4倍性能提升65% 相似已验证供应商的速率限制通常在每分钟请求数(RPM)、每分钟 Token 数(TPM)、每天 Token 数(TPD)三个维度同时生效63% 相似待验证在Omega Agent的领域建模中,Budget限制max turns(如100轮)、max tokens(如500万)、max seconds(单次工具调用如60秒)。63% 相似待验证在4M TPM前提下,400K上下文的Agent长轮次每分钟最多可触发10个请求(触及TPM上限),满载上下文请求每分钟仅4个。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044822API
curl https://kongchang.com/api/v1/knowledge/claims/1044822MCP
get_claim(id=1044822)