本地大模型
在本地硬件设备上运行的大型语言模型，无需依赖云端服务，强调隐私保护、低延迟和离线可用性，通常结合量化技术在消费级硬件上运行
核心事实
时间轴 (近 90 天)
对本地大模型这种对内存极度敏感的场景，容量的冗余比峰值性能更重要
真正可信的本地LLM性能数字只有用同一种方法、一致地在自己设备上测出的结果
用户所有工作项目和个人项目只用本地托管模型，从未付费订阅任何商业模型
编码执行任务的 token 消耗量远大于规划任务，因此用本地模型承担编码可显著降低API费用
本地模型不是付费模型的完全替代品，而是适合处理简单常规任务及不希望数据离开本地场景的补充工具
对绝大多数人来说，16GB（很多情况下甚至是12GB）才是显存的实际上限
本地大模型社区高度小众且严重偏向高端配置，聚集大量愿意为硬件投入巨资的爱好者
系统内存容量上限直接决定了用户在不牺牲更多精度的前提下能跑多大的模型
本地部署大模型的核心价值在于数据完全掌握在用户手里且零使用成本
来源不明的"整理包"可能捆绑恶意程序、挖矿脚本或付费解锁陷阱
还有 12 条时间轴事件
全部知识事实 (20)
受限于消费级设备的算力和内存，本地能运行的模型规模通常远小于云端旗舰模型，在复杂推理、长上下文处理等任务上存在差距
90%已验证本地运行大模型意味着所有数据都不会离开用户的设备，具有隐私优势
80%已验证运行70亿参数以上的本地大模型通常需要至少16GB显存的GPU
80%已验证本地小模型在复杂推理和长链条任务上仍难以比肩GPT-4级别的云端服务
70%已验证本地部署是指将大模型运行在企业自有服务器或私有云环境中，而非调用第三方云端API
70%待验证对本地大模型这种对内存极度敏感的场景，容量的冗余比峰值性能更重要
50%待验证真正可信的本地LLM性能数字只有用同一种方法、一致地在自己设备上测出的结果
50%待验证用户所有工作项目和个人项目只用本地托管模型，从未付费订阅任何商业模型
50%待验证编码执行任务的 token 消耗量远大于规划任务，因此用本地模型承担编码可显著降低API费用
50%待验证本地模型不是付费模型的完全替代品，而是适合处理简单常规任务及不希望数据离开本地场景的补充工具
50%待验证本地大模型社区高度小众且严重偏向高端配置，聚集大量愿意为硬件投入巨资的爱好者
50%待验证对绝大多数人来说，16GB（很多情况下甚至是12GB）才是显存的实际上限
50%待验证系统内存容量上限直接决定了用户在不牺牲更多精度的前提下能跑多大的模型
50%待验证本地部署大模型的核心价值在于数据完全掌握在用户手里且零使用成本
50%待验证本地运行开源大模型可实现离线问答、隐私保护、无需API费用等好处，合理预期为运行7B到14B级别的开源量化模型用于日常问答与简单代码辅助
50%待验证来源不明的"整理包"可能捆绑恶意程序、挖矿脚本或付费解锁陷阱
50%待验证本地部署大模型可以实现完全离线运行，无需联网即可使用AI
50%待验证评估本地模型时应将token效率和内存占用纳入选型核心指标，而非仅看参数量
50%待验证本地大模型选型的核心权衡是：内存决定能装下多大的模型，GPU（或其缺失）决定推理体验的流畅度
50%待验证一位Reddit本地大模型社区用户将本地LLM的使用方式类比为'软件版的3D打印机'，用于按需制造小型个性化软件
50%