概念Semantic Routing
语义路由
根据请求的语义内容将其分发到最合适下游处理节点的机制,类似网络层负载均衡,但判断依据是自然语言或多模态内容的含义而非固定规则,常用于AI推理管线中的请求分发与成本优化
时间轴 (近 90 天)
10月21日
语义路由指网关对每个进入的prompt做轻量分类,判断属于低复杂度任务还是高复杂度任务,并在毫秒级完成路由决策。
待验证50%
10月19日
80/15/5 混合路由加缓存策略能将单会话成本降至 $0.16,P95 月 COGS 降至 $4.8,毛利率达到 +79.8%
待验证50%
10月18日
关键词路由依赖预设词表匹配意图,对同义改写和口语化表达脆弱;语义路由通过向量相似度或 LLM 分类实现,代价是增加延迟与成本。
待验证50%
10月11日
语义路由是指根据请求的语义内容将其分发到最合适的下游处理节点的机制
待验证50%
10月11日
语义路由架构可以让高频简单请求走小模型、复杂请求调用大模型,形成成本与质量的动态平衡
待验证50%