本地推理
在本地设备上运行AI模型进行推理的技术方案，无需依赖云端服务，具备低延迟、数据隐私保护和无网络依赖等特点
核心事实
时间轴 (近 90 天)
本地推理让用户掌控模型运行，但不会自动让每个集成变得私密——连接了云端搜索工具的本地模型仍会把搜索请求发到电脑之外
选购本地推理机型时应综合评估GPU核心数、内存带宽与目标模型规模的匹配关系，而非只看内存数字
云端API通常能达到每秒数十到上百个token的输出速度，而消费级GPU运行27B模型速度往往只有每秒10-30个token
本地推理指AI模型直接运行在设备芯片上，响应更快、不依赖网络、隐私数据不离开本机；云端推理则将请求发送至服务器处理，能调用更大模型但受网络延迟和数据上传风险影响
本地推理意味着数据不必上传，具备更强的隐私保护属性
本地AI的核心吸引力在于隐私、低延迟和离线可用性
对于狭窄的形式化推理、合规规则、合同逻辑、研究验证等应用场景，能本地运行的专家模型优于藏在API背后的巨型通用模型
对于数据敏感的企业，本地部署Embedding模型可使文档内容不需发送到第三方API，完全在企业内网完成向量化
本地模型在能力上通常不及云端大模型，用户需要在隐私保护与模型性能之间做出取舍
本地AI开发者的核心痛点是在隐私可控、成本可承受与推理速度之间找到平衡
还有 2 条时间轴事件
全部知识事实 (12)
本地AI的核心吸引力在于隐私、低延迟和离线可用性
70%待验证云端备份能力越强通常隐私暴露面越大：纯本地存储最安全但换机易丢数据，全云端同步方便多设备/多看护人共享但依赖厂商安全能力，建议选支持端到端加密的云同步方案作为平衡
80%待验证本地推理让用户掌控模型运行，但不会自动让每个集成变得私密——连接了云端搜索工具的本地模型仍会把搜索请求发到电脑之外
50%待验证选购本地推理机型时应综合评估GPU核心数、内存带宽与目标模型规模的匹配关系，而非只看内存数字
50%待验证云端API通常能达到每秒数十到上百个token的输出速度，而消费级GPU运行27B模型速度往往只有每秒10-30个token
50%待验证本地推理指AI模型直接运行在设备芯片上，响应更快、不依赖网络、隐私数据不离开本机；云端推理则将请求发送至服务器处理，能调用更大模型但受网络延迟和数据上传风险影响
50%待验证本地推理意味着数据不必上传，具备更强的隐私保护属性
50%待验证对于狭窄的形式化推理、合规规则、合同逻辑、研究验证等应用场景，能本地运行的专家模型优于藏在API背后的巨型通用模型
50%待验证对于数据敏感的企业，本地部署Embedding模型可使文档内容不需发送到第三方API，完全在企业内网完成向量化
50%待验证本地模型在能力上通常不及云端大模型，用户需要在隐私保护与模型性能之间做出取舍
50%待验证本地AI开发者的核心痛点是在隐私可控、成本可承受与推理速度之间找到平衡
50%待验证本地推理的权衡在于数据不出本地、无API成本、完全可控，但即便顶级消费级硬件token吞吐速度也难以匹敌云端专用部署
50%