[控场AI]
产品

GreenRoute

本地优先的LLM路由服务,基于FastAPI的轻量Python服务,判断请求应在本地模型还是云端处理,估算资源节省

时间轴 (近 90 天)

10月14日

GreenRoute 是一个基于 FastAPI 的轻量 Python 服务,前端为 Web 聊天界面,用于判断 AI 请求是否应本地处理、解释判断依据并估算节省资源。

待验证50%
10月14日

GreenRoute 对每个提示词执行四步操作:分类请求、检查设备状态、路由到本地 Ollama 运行的 Llama 3.2 1B 或云端 Google Gemini,最后估算相对于全云端基线的资源足迹。

待验证50%
10月14日

GreenRoute 采用规则驱动而非训练分类器,决策需能用一句话解释并在远低于1毫秒内完成。

待验证50%
10月14日

GreenRoute 的路由第二步为七项检查(任务类型、设备模式、电池、输入长度、置信度、复杂度、内存),第一个失败的检查将请求送往云端并成为用户可见的原因。

待验证50%
10月14日

GreenRoute 的复杂度上限取决于本地模型大小:约1B模型为0.35,约3B为0.5,约7B为0.6。

待验证50%
10月14日

GreenRoute 估算本地推理额外功耗时默认笔记本 CPU 为 25W,碳排放基于 458 gCO₂/kWh 的 2025 年世界平均电网强度(来自 Ember 经 Our World in Data 发布)。

待验证50%
10月14日

在 60 个日常提示词测试中,GreenRoute 将 35 个(58%)留在设备上,与人工标注在 57/60 上一致,三个分歧全部偏向安全将请求送往云端。

待验证50%
10月14日

在路由器保留本地的 35 个提示词上,Llama 3.2 1B 的回答被判定可接受 30 次(86%,平均 4.4/5 分);在送往云端的 23 个文本提示词上,同一模型仅 4 次可接受(17%,平均 2.0/5 分)。

待验证50%
10月14日

与将全部 60 个提示词送往云端相比,GreenRoute 的估算足迹在能量上低 48%(7.5 vs 14.4 Wh),水低 58%(6.5 vs 15.6 mL),CO₂e 低 19%(1.46 vs 1.80 g)。

待验证50%
10月14日

本地路由在额外生成功耗约 136W 时停止节省能量;笔记本 CPU(约 25W)或 Apple Silicon Mac(约 10W)远低于此,而游戏台式机 GPU 推到 150W 则会比全云端基线多用约 6% 的能量。

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

待验证

GreenRoute 是一个基于 FastAPI 的轻量 Python 服务,前端为 Web 聊天界面,用于判断 AI 请求是否应本地处理、解释判断依据并估算节省资源。

50%
待验证

GreenRoute 对每个提示词执行四步操作:分类请求、检查设备状态、路由到本地 Ollama 运行的 Llama 3.2 1B 或云端 Google Gemini,最后估算相对于全云端基线的资源足迹。

50%
待验证

GreenRoute 采用规则驱动而非训练分类器,决策需能用一句话解释并在远低于1毫秒内完成。

50%
待验证

GreenRoute 的路由第二步为七项检查(任务类型、设备模式、电池、输入长度、置信度、复杂度、内存),第一个失败的检查将请求送往云端并成为用户可见的原因。

50%
待验证

GreenRoute 的复杂度上限取决于本地模型大小:约1B模型为0.35,约3B为0.5,约7B为0.6。

50%
待验证

GreenRoute 估算本地推理额外功耗时默认笔记本 CPU 为 25W,碳排放基于 458 gCO₂/kWh 的 2025 年世界平均电网强度(来自 Ember 经 Our World in Data 发布)。

50%
待验证

在 60 个日常提示词测试中,GreenRoute 将 35 个(58%)留在设备上,与人工标注在 57/60 上一致,三个分歧全部偏向安全将请求送往云端。

50%
待验证

在路由器保留本地的 35 个提示词上,Llama 3.2 1B 的回答被判定可接受 30 次(86%,平均 4.4/5 分);在送往云端的 23 个文本提示词上,同一模型仅 4 次可接受(17%,平均 2.0/5 分)。

50%
待验证

与将全部 60 个提示词送往云端相比,GreenRoute 的估算足迹在能量上低 48%(7.5 vs 14.4 Wh),水低 58%(6.5 vs 15.6 mL),CO₂e 低 19%(1.46 vs 1.80 g)。

50%
待验证

本地路由在额外生成功耗约 136W 时停止节省能量;笔记本 CPU(约 25W)或 Apple Silicon Mac(约 10W)远低于此,而游戏台式机 GPU 推到 150W 则会比全云端基线多用约 6% 的能量。

50%
待验证

关键词语义计数应仅在指令中计数而非在粘贴的材料中计数,这是 GreenRoute 第一条构建教训。

50%
待验证

当多条规则同时触发时,最复杂的任务获胜,使错误偏向云端(昂贵方向)而非错误答案方向。

50%

来源文章