本地大模型
在本地硬件设备上运行的大型语言模型，无需依赖云端服务，强调隐私保护、低延迟和离线可用性，通常结合量化技术在消费级硬件上运行
核心事实
时间轴 (近 90 天)
对于文本分类、信息抽取这类结构化程度较高的任务，本地小模型的表现已经足以胜任，发票字段识别恰好属于这一类。
本地大模型并发能力有限，多请求同时到达时该工具会将请求排队等待而非直接报错，采用先来先服务的串行队列。
本地部署大模型排查问题的正确思路是先定位再改动，一次只改一项，顺序为先查任务和输入，再查聊天模板，最后才动采样参数
对本地大模型这种对内存极度敏感的场景，容量的冗余比峰值性能更重要
真正可信的本地LLM性能数字只有用同一种方法、一致地在自己设备上测出的结果
用户所有工作项目和个人项目只用本地托管模型，从未付费订阅任何商业模型
编码执行任务的 token 消耗量远大于规划任务，因此用本地模型承担编码可显著降低API费用
本地模型不是付费模型的完全替代品，而是适合处理简单常规任务及不希望数据离开本地场景的补充工具
对绝大多数人来说，16GB（很多情况下甚至是12GB）才是显存的实际上限
本地大模型社区高度小众且严重偏向高端配置，聚集大量愿意为硬件投入巨资的爱好者
还有 13 条时间轴事件
全部知识事实 (20)
受限于消费级设备的算力和内存，本地能运行的模型规模通常远小于云端旗舰模型，在复杂推理、长上下文处理等任务上存在差距
90%已验证本地运行大模型意味着所有数据都不会离开用户的设备，具有隐私优势
80%已验证运行70亿参数以上的本地大模型通常需要至少16GB显存的GPU
80%已验证本地部署相比云端API的优势在于数据不出本机、无Token费用、网络延迟可控
75%已验证本地部署是指将大模型运行在企业自有服务器或私有云环境中，而非调用第三方云端API
70%待验证对于文本分类、信息抽取这类结构化程度较高的任务，本地小模型的表现已经足以胜任，发票字段识别恰好属于这一类。
50%待验证本地大模型并发能力有限，多请求同时到达时该工具会将请求排队等待而非直接报错，采用先来先服务的串行队列。
50%待验证本地部署大模型排查问题的正确思路是先定位再改动，一次只改一项，顺序为先查任务和输入，再查聊天模板，最后才动采样参数
50%待验证对本地大模型这种对内存极度敏感的场景，容量的冗余比峰值性能更重要
50%待验证真正可信的本地LLM性能数字只有用同一种方法、一致地在自己设备上测出的结果
50%待验证用户所有工作项目和个人项目只用本地托管模型，从未付费订阅任何商业模型
50%待验证编码执行任务的 token 消耗量远大于规划任务，因此用本地模型承担编码可显著降低API费用
50%待验证本地模型不是付费模型的完全替代品，而是适合处理简单常规任务及不希望数据离开本地场景的补充工具
50%待验证本地大模型社区高度小众且严重偏向高端配置，聚集大量愿意为硬件投入巨资的爱好者
50%待验证对绝大多数人来说，16GB（很多情况下甚至是12GB）才是显存的实际上限
50%待验证系统内存容量上限直接决定了用户在不牺牲更多精度的前提下能跑多大的模型
50%待验证本地部署大模型的核心价值在于数据完全掌握在用户手里且零使用成本
50%待验证来源不明的"整理包"可能捆绑恶意程序、挖矿脚本或付费解锁陷阱
50%待验证本地运行开源大模型可实现离线问答、隐私保护、无需API费用等好处，合理预期为运行7B到14B级别的开源量化模型用于日常问答与简单代码辅助
50%待验证本地部署大模型可以实现完全离线运行，无需联网即可使用AI
50%