Streeta
一个将模型权重和专家部分卸载到内存与 SSD 上、以在消费级硬件上运行大模型的开源项目,通过分层存储降低对显存容量的要求。
时间轴 (近 90 天)
Streeta 是一个开源项目(名称拼写也有 Streeta/Streethub 混用),将放不进显存和内存的模型部分卸载到 SSD 上,以便在消费级硬件上运行较大模型
Streeta 演示中模型运行时的显存占用约21G,CPU内存占用约60G,后台显示约67%的内存被使用
Streeta 采用卸载(Offloading)策略:将当前计算不活跃的层或专家权重暂存在内存和SSD上,需要时再加载回显存
setup.sh 是 Streeta 项目的环境初始化脚本,负责拉取模型权重、安装Python依赖、配置推理后端并启动服务,首次运行需下载数十GB模型文件
搭建好的服务暴露标准的 Claude Code API 和 OpenAI 接口,可配置到 Codex 或 Claude Code 中使用,模型名选择 deepseek v4.1 flash
Streeta 加 Cloud Studio 的组合适合本地搭建体验和离线实验,但不适合追求快速开发速度的场景
Streeta 方案要求机器配备 SSD 和大容量内存,速度无法与纯 GPU 推理相比,但门槛低
全部知识事实 (6)
Streeta 是一个开源项目(名称拼写也有 Streeta/Streethub 混用),将放不进显存和内存的模型部分卸载到 SSD 上,以便在消费级硬件上运行较大模型
50%待验证Streeta 采用卸载(Offloading)策略:将当前计算不活跃的层或专家权重暂存在内存和SSD上,需要时再加载回显存
50%待验证setup.sh 是 Streeta 项目的环境初始化脚本,负责拉取模型权重、安装Python依赖、配置推理后端并启动服务,首次运行需下载数十GB模型文件
50%待验证搭建好的服务暴露标准的 Claude Code API 和 OpenAI 接口,可配置到 Codex 或 Claude Code 中使用,模型名选择 deepseek v4.1 flash
50%待验证Streeta 加 Cloud Studio 的组合适合本地搭建体验和离线实验,但不适合追求快速开发速度的场景
50%待验证Streeta 方案要求机器配备 SSD 和大容量内存,速度无法与纯 GPU 推理相比,但门槛低
50%