待验证50% 置信事实精确时间
边缘节点单机算力与内存远小于云端 GPU 集群，无法承载超大参数模型或长时间多步推理，且通常采用无状态、按请求计费的执行模型。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
已验证大模型推理的瓶颈往往不在算力而在内存带宽，GPU的算力利用率在推理阶段往往不到峰值的10%79% 相似已验证当模型参数量超出GPU显存容量时需要offload到系统内存，推理速度会从数十Token/秒骤降至个位数73% 相似已验证受限于消费级设备的算力和内存，本地能运行的模型规模通常远小于云端旗舰模型，在复杂推理、长上下文处理等任务上存在差距72% 相似待验证自回归推理时batch size通常为1，每个token生成只做一次矩阵-向量乘法，算术强度极低，导致memory-bound问题，单用户场景下GPU利用率往往不到10%72% 相似待验证GPU的SIMD架构在推理阶段面临结构性错配，推理时batch size较小导致算力利用率不足，内存带宽成为核心瓶颈71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074392API
curl https://kongchang.com/api/v1/knowledge/claims/1074392MCP
get_claim(id=1074392)