待验证50% 置信事实精确时间
吞吐量指在单位时间内模型能处理的请求数量。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证总参数量反映模型的知识容量与表达能力上限，激活参数量决定推理时的算力消耗和延迟73% 相似待验证投机执行(speculative execution)指同时向大小模型发送请求，取小模型结果若质量达标则丢弃大模型结果，但会带来额外计算资源浪费，只在延迟极度敏感场景值得考虑72% 相似待验证小模型推理存在「预热」现象：首次请求需要加载模型权重、编译计算图并分配 KV Cache，耗时明显偏高；之后请求复用已加载模型。71% 相似待验证在真实生产应用中，有相当比例的大模型请求是完全重复的（相同系统提示词、用户问题和参数）71% 相似待验证任务向量方法（Task Arithmetic）将微调模型与基础模型的参数差值视为任务向量，通过向量加减在参数空间中组合多个任务能力70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038341API
curl https://kongchang.com/api/v1/knowledge/claims/1038341MCP
get_claim(id=1038341)