Layer

Layer 是一个面向 AI 路由与模型分流的推理框架，支持在本地以 Editable 模式安装并直接加载模型，省去 HTTP 调用开销。

运行 Layer 示例时必须使用 Layer 目录下 Venv 中的 Python 解释器，而不是系统全局 Python，因为 Layer 依赖 Torch、Flash 和 Tension 等第三方包，直接复用可避免版本不匹配或环境冲突。

Router 是 Layer 的路由层，本质是一个轻量分类/决策模型，读取输入文本（及可选的 State），判断问题领域并转发给下游模型，返回结果中的 Routing 字段记录目标模型与 reason。

在 Layer 的 Router 案例中，设置 MaxLoaded=1 表示同时驻留在显存中的模型数量上限为 1，切换模型时需卸载旧模型再加载新模型，以时间换显存。

在 Layer 的 Router 案例中，输入“计费与退款的问题”被路由到 English 模型，reason 为“English Latent Text”，最终 Department 选择 Billing，概率 0.98，Technical 概率 0.0132，置信度 0.8984；输入消耗 80 个 Token，输出不占 Token。

Layer 提供与 System1 兼容的接口，本地服务启动在 127.0.0.1:8000 端口，请求参数与 TypeSafe 官方接口完全一致；Model 字段填 JV1 时 Layer 无法识别该模型会自动回退到 Routing 模式，手动指定 English、MartinLingo 或 Type Decision 则相当于 Layer.load 指定模型。

Layer 在输入输出上兼容 TypeSafe 官方接口，使用 TypeSafe SDK 时只需替换 BaseURL、API Key 和 Model 即可指向 Layer；示例通过 uv add typeSafe-sdk 安装 SDK，创建 Client 指向 localhost:8000，Model 填 jf-1 自动走 Routing。

三种调用方式（SDK、HTTP 和第三方 TypeSafe SDK）均经过测试，官方提供的测试文件基本全部通过，仅有两个与“酷炸导单”相关的用例未通过，演示者认为问题出在用例设计上。

Layer 请求响应速度为毫秒级，测试次数不多但量级稳定。