Strata
开源的LLM语义中间层工具，在数据与模型之间插入可控的语义层，通过规则约束拦截不合规、不安全或超出权限的LLM请求，支持可审计的允许/拒绝策略表达
核心事实
时间轴 (近 90 天)
GitHub上的开源项目Strata获得了近两万五千颗星。
Strata采用分层硬件策略：常用专家权重放在显卡显存中，其余存入系统内存，需要时再调取。
据B站UP主实测，Strata能让普通游戏电脑运行通义千问1250亿参数版本。
Strata的核心思路是采用MoE（混合专家）架构，模型内部包含两万多个小专家模块，每次推理只调用少数相关专家。
Strata兼容OpenAI API，任何支持OpenAI API地址的工具只需将请求地址换成本机Strata服务即可调用本地模型。
Strata项目承诺可以让用户在自己的电脑上本地运行千亿参数级别的大模型，且无需联网。
Strata首次启动会卡顿一到两分钟，属于正常加载过程。
Strata作者明确给出三条硬性硬件要求：显卡显存12GB以上、系统内存32GB起步、硬盘空间预留80GB以上（首次下载约70GB）。
开发者NICO 1221（文中提及与ByteDance关联）开发了名为Strata的推理引擎。
Strata引擎通过将模型主体常驻系统内存、仅将当前推理需要的层动态加载到显存的方式，使12GB显存的电脑能够运行1250亿参数模型。
还有 40 条时间轴事件
全部知识事实 (20)
该项目已在GitHub开源
80%已验证Strata使用低比特量化，最小配置约需38GB的内存+显存总和，最高质量配置约需55GB，64GB系统内存是理想目标
70%已验证在RTX 5070（12GB显存）配置下，本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%已验证在输出（Decode）速度测试中，2 万 token 以内可达约 45 tokens/秒，3 万 token 以上骤降至约 20 tokens/秒
70%已验证Qwen3 Flash Next在本地运行中开发者Primitive报告的生成速度达到142.6 tokens/s
65%部分验证Strata的核心做法是当专家不在GPU上时由CPU直接在内存中就地计算，GPU并行处理缓存中的专家，使内存成为第二个计算域而非慢速虚拟显存
65%待验证官方估计24GB显卡约能跑100~140 tokens/秒
60%待验证若量化后模型权重为150GB，以273GB/s带宽读取一遍权重约需0.55秒，理论上单token生成速度约为1.8 token/s（未计入计算延迟和跨机通信开销）
60%待验证Strata的核心思路是采用MoE（混合专家）架构，模型内部包含两万多个小专家模块，每次推理只调用少数相关专家。
50%待验证Strata采用分层硬件策略：常用专家权重放在显卡显存中，其余存入系统内存，需要时再调取。
50%待验证Strata首次启动会卡顿一到两分钟，属于正常加载过程。
50%待验证Strata兼容OpenAI API，任何支持OpenAI API地址的工具只需将请求地址换成本机Strata服务即可调用本地模型。
50%待验证Strata项目承诺可以让用户在自己的电脑上本地运行千亿参数级别的大模型，且无需联网。
50%待验证GitHub上的开源项目Strata获得了近两万五千颗星。
50%待验证Strata作者明确给出三条硬性硬件要求：显卡显存12GB以上、系统内存32GB起步、硬盘空间预留80GB以上（首次下载约70GB）。
50%待验证开发者NICO 1221（文中提及与ByteDance关联）开发了名为Strata的推理引擎。
50%待验证Strata引擎通过将模型主体常驻系统内存、仅将当前推理需要的层动态加载到显存的方式，使12GB显存的电脑能够运行1250亿参数模型。
50%待验证Strata 0.1.44 的 .text 段有 8.88 MiB 主机代码，CUDA fatbin 镜像共 50.3 MiB，全部为 sm_86 架构编译，符号表未剥离，包含 12,446 个过程和 54,524 个字符串，是一个带 -O3 优化的 NDEBUG 构建。
50%待验证Strata 引擎采用自适应专家层架构（RemoteExpertOpt::adapt、PeerExperts::adapt），可类比 MoE 混合专家思路，当所需专家不在显存中时必须在解码窗口之间从主机内存或对端交换槽位，实测约 1.1 毫秒纯等待。
50%待验证在 4096 MiB 和 4 个槽位配置下，会话内的小读取从干净的 0.07 秒增加到每轮多出 0.15 到 0.35 秒；降到 3072 MiB 和 3 个槽位后，偶发的尾部延迟恢复到接近原始水平。
50%