待验证50% 置信权衡取舍精确时间

LLM 分类器通常选用参数量极小的模型（1B–3B 量级）以保证分类延迟在百毫秒内

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

LiteLLM 智能路由实战：本地 LLM 的大小模型自动分流

涉及实体

相关事实

待验证LLM推理延迟根据模型大小和Token数量从300ms到2000ms不等78% 相似待验证针对有限意图集合的轻量分类器在延迟和资源消耗上远优于通用LLM调用71% 相似待验证在确定性任务（如工作年限≥3年的初筛）上应使用规则引擎而非LLM，因为规则引擎结果100%可复现且执行速度微秒级，使用LLM会浪费算力并可能因幻觉导致误判70% 相似待验证将LLM通过率纳入质量门禁涉及阈值设定、执行效率优化和回归检测三个关键决策70% 相似已验证向量数据库底层通常采用HNSW或IVF等近似最近邻算法，检索延迟通常低于10毫秒69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/984389

API

curl https://kongchang.com/api/v1/knowledge/claims/984389

MCP

get_claim(id=984389)