待验证50% 置信基准精确时间

在批量为2时，逐行GEMV回退方案把吞吐拉回到16.25 tokens/s，与未批处理基线16.15 tokens/s基本持平

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

连续批处理为何拖慢了LLM推理引擎？一次Metal内核排查实录

涉及实体

相关事实

待验证v2.1.269 修复了当响应因触碰输出 token 上限被截断并自动续写时提示缓存被部分失效的问题66% 相似待验证当Access Token过期时客户端应自动用Refresh Token换取新Token，若自动刷新流程失败应用便会静默失去访问云端数据的权限59% 相似待验证TokenRouter 中启用 Hard cap 后，超出限额的请求会被拒绝并返回 429，直到周期重置57% 相似待验证LangChain 1.4.3 对回退模型的缓存设置进行了净化处理（sanitize cache settings），修复了缓存配置在模型切换时可能被错误传递或复用的问题52% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000267

API

curl https://kongchang.com/api/v1/knowledge/claims/1000267

MCP

get_claim(id=1000267)