待验证50% 置信事实精确时间
推理模型有时需要 20–70 秒响应，并可能截断 JSON。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证将一半模型层卸载到内存后生成速度往往从每秒十几个Token骤降至个位数63% 相似待验证根据文中量化估算，编程智能体任务中模型推理仅占总时间的 20%-30%，剩余 70%-80% 花在等待外部系统 I/O 响应62% 相似待验证参数量在1亿以下的轻量模型经领域数据微调后可达95%以上意图分类准确率，单次推理延迟控制在5-20ms以内61% 相似待验证开启推理模式后，Qwen3.8-27B的bug检出率降至6/20，40个回答中有12个因耗尽12000 token输出上限导致JSON无法解析；Ornith 1.5检出率维持8/20，13/40回答不可解析，但耗时约为Qwen的一半。60% 相似待验证在为客户构建的实时代码审查工具中，使用最大最聪明的模型平均响应8.7秒，切换到更小的蒸馏模型后响应降至2.3秒，审查质量仅下降约5%。59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1061912API
curl https://kongchang.com/api/v1/knowledge/claims/1061912MCP
get_claim(id=1061912)