边缘 AI
在本地设备上运行AI模型而非依赖云端API的部署范式，强调数据不出设备、低延迟和离线可用，通常使用量化小模型
核心事实
时间轴 (近 90 天)
3B 级别的小模型可以在 6GB 内存的边缘设备上运行，适合分类、抽取和简单问答，但在多步财务分析、跨账单关联和自然语言解释上容易力不从心并产生幻觉。
在边缘 AI 场景中，常见降级路径包括：关闭深度输出改为单目模式、降低预览帧率、切换到精度更低但兼容性更好的模型、或改用 CPU 回退推理。
边缘AI方案将小型化模型部署在本地芯片上，数据不出设备；受限于算力和功耗，其对话能力通常弱于云端方案。
边缘 AI 对延迟敏感、成本敏感的小工具是合理选择；结构化输出靠严格系统提示而非模型智能；负向约束是控制 LLM 输出风格的有效手段；8B 级别模型在窄任务上足够可用。
边缘 AI 设备采用「瘦终端 + 厚后端」典型架构，终端负责数据采集和结果展示，大模型推理和工具调用在网关或云端完成
端侧AI模型压缩的关键技术包括量化、知识蒸馏和剪枝
全部知识事实 (6)
边缘 AI 设备采用「瘦终端 + 厚后端」典型架构，终端负责数据采集和结果展示，大模型推理和工具调用在网关或云端完成
65%待验证3B 级别的小模型可以在 6GB 内存的边缘设备上运行，适合分类、抽取和简单问答，但在多步财务分析、跨账单关联和自然语言解释上容易力不从心并产生幻觉。
50%待验证在边缘 AI 场景中，常见降级路径包括：关闭深度输出改为单目模式、降低预览帧率、切换到精度更低但兼容性更好的模型、或改用 CPU 回退推理。
50%待验证边缘AI方案将小型化模型部署在本地芯片上，数据不出设备；受限于算力和功耗，其对话能力通常弱于云端方案。
50%待验证边缘 AI 对延迟敏感、成本敏感的小工具是合理选择；结构化输出靠严格系统提示而非模型智能；负向约束是控制 LLM 输出风格的有效手段；8B 级别模型在窄任务上足够可用。
50%待验证端侧AI模型压缩的关键技术包括量化、知识蒸馏和剪枝
50%