待验证50% 置信决策规则精确时间
对于依赖主机内存 offload 的推理方案，应尽量让卸载到主机内存的专家数据所在的 NUMA 节点与访问它的 GPU 处于同一节点，否则性能损失会被误算到 offload 机制本身头上。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
763B MoE 塞进两张 96GB 显卡：闲置专家丢进主机内存
rss2026/10/16
涉及实体
相关事实
待验证OOM（Out of Memory）是本地推理最常遇到的故障：当模型权重、KV缓存和并发请求共同占用的显存超过GPU容量时，CUDA运行时会直接终止进程。70% 相似待验证数据在服务器端进行推理时必然处于明文状态，GPU显存中的激活值、KV缓存以及批处理队列中的请求数据都可能成为侧信道攻击目标64% 相似待验证在 PyTorch DataLoader 中，num_workers 决定用多少个独立子进程并行读取与预处理数据，低值会导致数据准备无法与 GPU 计算重叠。63% 相似待验证在数据变更时主动失效关联记忆的方案架构更干净，但要求追踪每条记忆的来源指纹，对系统可观测性和数据管道提出更高要求62% 相似待验证实测数据来自单一来源的B站UP主分享，表现会因硬件批次、模型版本和实际负载而波动62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044821API
curl https://kongchang.com/api/v1/knowledge/claims/1044821MCP
get_claim(id=1044821)