待验证50% 置信事实精确时间
MoE 缓存使专家在 CUDA 内核中运行而非 CPU，导致输出不再逐位一致；温度 0 下贪心选择可能翻转，实测 --cpu-moe 下 4 条回复仅 1 条与无缓存版本逐字一致。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证零拷贝机制利用CUDA的映射固定内存或统一内存特性，通过cudaHostAllocMapped分配的内存可同时被CPU和GPU访问，省去拷贝环节68% 相似待验证新内核通过将量化/反量化操作融合进注意力计算的 CUDA Kernel 中，使 KV 缓存量化不再造成推理减速，某些带宽受限场景下甚至能进一步提升吞吐65% 相似待验证cudaStreamSynchronize 会阻塞 CPU 线程直到指定 stream 中所有操作完成，从 GPU 显存到 CPU 内存的数据拷贝在默认模式下也会隐式触发同步65% 相似待验证CUDA 显存是 NVIDIA GPU 上由驱动管理的独立内存池，分配后不会自动归还给其他进程，两个模型进程先后申请显存时先加载者若未显式释放或清空缓存，后来者会遇到 out of memory 或被迫使用极小批处理。64% 相似待验证该系统同时支持 CPU 与 CUDA 两种运行模式，并根据运行平台自动选择算力64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060515API
curl https://kongchang.com/api/v1/knowledge/claims/1060515MCP
get_claim(id=1060515)