待验证50% 置信事实精确时间
该 PR 的技术思路是为存放在主机内存(系统 RAM)中的 MoE 专家权重在 GPU 侧建立一层缓存机制
1
来源数
50%
置信度
长期有效
时效性
2026/10/7
首次发现
来源
涉及实体
相关事实
部分验证Strata的核心做法是当专家不在GPU上时由CPU直接在内存中就地计算,GPU并行处理缓存中的专家,使内存成为第二个计算域而非慢速虚拟显存71% 相似已验证llama.cpp支持CPU与GPU的混合推理(层卸载),可将模型部分层加载到GPU显存、其余层保留在内存70% 相似待验证HPC/GPU 工程师方向涉及 CUDA、ROCm、SYCL 并行编程框架,以及 GPU 的 SM 架构和 warp 调度机制68% 相似待验证专家卸载策略将不常激活的专家留在 CPU 内存,路由器选中时才临时搬运至 GPU 显存68% 相似待验证智能体式 GPU 编程的核心思路是让 LLM 智能体承担编写和调优底层代码的重复性劳动,通过生成候选 kernel、编译运行、读取性能反馈、再迭代优化形成闭环67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/985469API
curl https://kongchang.com/api/v1/knowledge/claims/985469MCP
get_claim(id=985469)