概念端侧推理 / 本地AI推理 / 本地模型
本地大模型部署
将大语言模型部署在本地设备上运行推理的技术方案，无需将数据上传至云端，核心优势在于数据隐私保护与消除API调用成本
核心事实
时间轴 (近 90 天)
10月12日
本地运行并不能消除生成内容的风险，也不能消除供应链的风险
待验证50%
10月1日
本地部署大模型涉及模型选型、环境配置、显存管理、服务编排等多个步骤，对非技术背景用户构成门槛
待验证50%
10月1日
显存是本地部署大模型时最核心的瓶颈之一，大模型的权重参数在推理时必须全部加载到显存中才能运行
待验证50%
9月11日
本地模型方案的核心优势在于代码数据完全不离开本机，适合数据合规要求严格的企业或涉密项目
待验证50%
9月6日
本地跑大模型的瓶颈在于显存容量与带宽，CPU不是关键
已验证65%