混合推理
移动AI架构的主流实践，在设备端运行轻量模型处理高频低延迟任务，复杂请求脱敏后发送云端大模型处理并回传结果，关键设计点包括路由策略、降级方案和端云模型版本一致性
时间轴 (近 90 天)
Salesforce提出的混合推理主张把确定性逻辑与自适应AI结合起来。
文本嵌入表放置于CPU是混合推理的常见策略，利用嵌入操作访存密集但计算稀疏的特点，可显著降低显存峰值占用，代价是少量PCIe传输延迟。
混合推理是近年移动 AI 架构的主流实践：设备端运行轻量模型负责高频、低延迟、强隐私的任务，当请求复杂度或模型能力超出端侧上限时，再由应用将脱敏后的输入发送到云端大模型处理，最后把结果回传并可在本地缓存。
混合推理模式的关键设计点有三个：一是路由策略（基于输入长度、任务类型和网络状态判断请求走端侧还是云端）；二是降级方案（网络不可用或云端超时时端侧模型给出可接受的次优结果而非直接报错）；三是一致性（端侧与云端模型版本需要协同更新）。
混合推理（offloading）是将模型的一部分层放在GPU显存中、另一部分放在系统内存中
全部知识事实 (5)
Salesforce提出的混合推理主张把确定性逻辑与自适应AI结合起来。
50%待验证文本嵌入表放置于CPU是混合推理的常见策略，利用嵌入操作访存密集但计算稀疏的特点，可显著降低显存峰值占用，代价是少量PCIe传输延迟。
50%待验证混合推理是近年移动 AI 架构的主流实践：设备端运行轻量模型负责高频、低延迟、强隐私的任务，当请求复杂度或模型能力超出端侧上限时，再由应用将脱敏后的输入发送到云端大模型处理，最后把结果回传并可在本地缓存。
50%待验证混合推理模式的关键设计点有三个：一是路由策略（基于输入长度、任务类型和网络状态判断请求走端侧还是云端）；二是降级方案（网络不可用或云端超时时端侧模型给出可接受的次优结果而非直接报错）；三是一致性（端侧与云端模型版本需要协同更新）。
50%待验证混合推理（offloading）是将模型的一部分层放在GPU显存中、另一部分放在系统内存中
50%