边缘推理
在用户本地设备或边缘节点上直接运行AI推理，无需依赖云端服务器，保护隐私并降低延迟和部署成本
时间轴 (近 90 天)
边缘推理带来模型体积、冷启动、硬件异构性等工程约束，通常需要模型量化、蒸馏或专用推理运行时配合。
边缘推理的核心优势在于降低网络往返延迟、减少带宽成本，并满足数据本地化的合规要求。
边缘推理指将机器学习模型的推理过程部署在靠近用户或数据源头的边缘节点，而非集中在云端数据中心执行。
边缘节点单机算力与内存远小于云端 GPU 集群，无法承载超大参数模型或长时间多步推理，且通常采用无状态、按请求计费的执行模型。
边缘场景在任务足够狭窄、对延迟敏感、涉及隐私数据或网络条件恶劣时，边缘推理是唯一合理的选择。
交互式设备上本机推理的目标延迟通常在300毫秒以内，这个预算下云端往返几乎不可能竞争。
轨道推理可以看作边缘推理的极端形态，卫星本身是数据源，推理节点与采集节点重合；但面临电力受限、散热困难、维护窗口稀缺等约束，单节点算力远低于地面服务器。
作者对比标准 serverless 函数，认为将推理移到边缘后 time-to-first-token 显著下降。
在边缘进行 AI 推理可将网络往返时间从数百毫秒降至几十毫秒。
将推理模型部署在工厂本地GPU（边缘推理）可消除网络延迟瓶颈、规避数据隐私风险，成本从按调用量付费转为一次性硬件投入加固定电费
全部知识事实 (10)
边缘推理带来模型体积、冷启动、硬件异构性等工程约束，通常需要模型量化、蒸馏或专用推理运行时配合。
50%待验证边缘推理的核心优势在于降低网络往返延迟、减少带宽成本，并满足数据本地化的合规要求。
50%待验证边缘推理指将机器学习模型的推理过程部署在靠近用户或数据源头的边缘节点，而非集中在云端数据中心执行。
50%待验证边缘节点单机算力与内存远小于云端 GPU 集群，无法承载超大参数模型或长时间多步推理，且通常采用无状态、按请求计费的执行模型。
50%待验证边缘场景在任务足够狭窄、对延迟敏感、涉及隐私数据或网络条件恶劣时，边缘推理是唯一合理的选择。
50%待验证交互式设备上本机推理的目标延迟通常在300毫秒以内，这个预算下云端往返几乎不可能竞争。
50%待验证轨道推理可以看作边缘推理的极端形态，卫星本身是数据源，推理节点与采集节点重合；但面临电力受限、散热困难、维护窗口稀缺等约束，单节点算力远低于地面服务器。
50%待验证作者对比标准 serverless 函数，认为将推理移到边缘后 time-to-first-token 显著下降。
50%待验证在边缘进行 AI 推理可将网络往返时间从数百毫秒降至几十毫秒。
50%待验证将推理模型部署在工厂本地GPU（边缘推理）可消除网络延迟瓶颈、规避数据隐私风险，成本从按调用量付费转为一次性硬件投入加固定电费
50%