GreenRoute
本地优先的LLM路由服务,基于FastAPI的轻量Python服务,判断请求应在本地模型还是云端处理,估算资源节省
时间轴 (近 90 天)
GreenRoute 是一个基于 FastAPI 的轻量 Python 服务,前端为 Web 聊天界面,用于判断 AI 请求是否应本地处理、解释判断依据并估算节省资源。
GreenRoute 对每个提示词执行四步操作:分类请求、检查设备状态、路由到本地 Ollama 运行的 Llama 3.2 1B 或云端 Google Gemini,最后估算相对于全云端基线的资源足迹。
GreenRoute 采用规则驱动而非训练分类器,决策需能用一句话解释并在远低于1毫秒内完成。
GreenRoute 的路由第二步为七项检查(任务类型、设备模式、电池、输入长度、置信度、复杂度、内存),第一个失败的检查将请求送往云端并成为用户可见的原因。
GreenRoute 的复杂度上限取决于本地模型大小:约1B模型为0.35,约3B为0.5,约7B为0.6。
GreenRoute 估算本地推理额外功耗时默认笔记本 CPU 为 25W,碳排放基于 458 gCO₂/kWh 的 2025 年世界平均电网强度(来自 Ember 经 Our World in Data 发布)。
在 60 个日常提示词测试中,GreenRoute 将 35 个(58%)留在设备上,与人工标注在 57/60 上一致,三个分歧全部偏向安全将请求送往云端。
在路由器保留本地的 35 个提示词上,Llama 3.2 1B 的回答被判定可接受 30 次(86%,平均 4.4/5 分);在送往云端的 23 个文本提示词上,同一模型仅 4 次可接受(17%,平均 2.0/5 分)。
与将全部 60 个提示词送往云端相比,GreenRoute 的估算足迹在能量上低 48%(7.5 vs 14.4 Wh),水低 58%(6.5 vs 15.6 mL),CO₂e 低 19%(1.46 vs 1.80 g)。
本地路由在额外生成功耗约 136W 时停止节省能量;笔记本 CPU(约 25W)或 Apple Silicon Mac(约 10W)远低于此,而游戏台式机 GPU 推到 150W 则会比全云端基线多用约 6% 的能量。
还有 2 条时间轴事件
全部知识事实 (12)
GreenRoute 是一个基于 FastAPI 的轻量 Python 服务,前端为 Web 聊天界面,用于判断 AI 请求是否应本地处理、解释判断依据并估算节省资源。
50%待验证GreenRoute 对每个提示词执行四步操作:分类请求、检查设备状态、路由到本地 Ollama 运行的 Llama 3.2 1B 或云端 Google Gemini,最后估算相对于全云端基线的资源足迹。
50%待验证GreenRoute 采用规则驱动而非训练分类器,决策需能用一句话解释并在远低于1毫秒内完成。
50%待验证GreenRoute 的路由第二步为七项检查(任务类型、设备模式、电池、输入长度、置信度、复杂度、内存),第一个失败的检查将请求送往云端并成为用户可见的原因。
50%待验证GreenRoute 的复杂度上限取决于本地模型大小:约1B模型为0.35,约3B为0.5,约7B为0.6。
50%待验证GreenRoute 估算本地推理额外功耗时默认笔记本 CPU 为 25W,碳排放基于 458 gCO₂/kWh 的 2025 年世界平均电网强度(来自 Ember 经 Our World in Data 发布)。
50%待验证在 60 个日常提示词测试中,GreenRoute 将 35 个(58%)留在设备上,与人工标注在 57/60 上一致,三个分歧全部偏向安全将请求送往云端。
50%待验证在路由器保留本地的 35 个提示词上,Llama 3.2 1B 的回答被判定可接受 30 次(86%,平均 4.4/5 分);在送往云端的 23 个文本提示词上,同一模型仅 4 次可接受(17%,平均 2.0/5 分)。
50%待验证与将全部 60 个提示词送往云端相比,GreenRoute 的估算足迹在能量上低 48%(7.5 vs 14.4 Wh),水低 58%(6.5 vs 15.6 mL),CO₂e 低 19%(1.46 vs 1.80 g)。
50%待验证本地路由在额外生成功耗约 136W 时停止节省能量;笔记本 CPU(约 25W)或 Apple Silicon Mac(约 10W)远低于此,而游戏台式机 GPU 推到 150W 则会比全云端基线多用约 6% 的能量。
50%待验证关键词语义计数应仅在指令中计数而非在粘贴的材料中计数,这是 GreenRoute 第一条构建教训。
50%待验证当多条规则同时触发时,最复杂的任务获胜,使错误偏向云端(昂贵方向)而非错误答案方向。
50%