概念Split Inference / split inference
拆分推理
边缘AI领域的一种推理范式，将神经网络按层切分为多个子模型部署在不同节点（终端、边缘、云），中间张量通过网络传输，以解决端侧算力/内存受限问题。
时间轴 (近 90 天)
10月14日
研究提出了 Inference on Demand（IoD），试图把拆分推理从应用层的私有实现变成5G用户面上可被网络识别和调度的服务。
待验证50%
边缘AI领域的一种推理范式，将神经网络按层切分为多个子模型部署在不同节点（终端、边缘、云），中间张量通过网络传输，以解决端侧算力/内存受限问题。
研究提出了 Inference on Demand（IoD），试图把拆分推理从应用层的私有实现变成5G用户面上可被网络识别和调度的服务。