概念Nested Models / nested models
嵌套模型
一种模型服务架构思路，通过共享同一套权重为多个不同规格或档位的模型提供服务，不同请求可以使用不同的推理传播次数或计算量
时间轴 (近 90 天)
10月7日
NVIDIA 曾展示过在一个大模型内部嵌套多个小模型的技术，它们可在统一的部署足迹下运行
待验证50%
10月7日
嵌套模型技术与学术界的 Matryoshka 套娃表示学习思路一脉相承，训练时让模型子集具备独立可用的能力而非事后剪枝
待验证50%
10月7日
嵌套模型使运营商无需为每个产品档位维护独立模型副本，可提升 GPU 利用率、降低冷启动开销并简化运维
待验证50%