Xtier
依附于SGLang官方框架的开源插件，为MoE模型提供CPU内存与GPU显存混合推理能力，无需修改源码，支持加速包机制以提升推理速度。
时间轴 (近 90 天)
Xtier是一个开源插件，依附于SGLang官方框架，在不修改源码的前提下为MoE模型提供显存与内存混合推理能力。
SGLang官方版本主要面向纯GPU部署，而Xtier增加了CPU内存推理支持，使MoE模型可将不活跃专家参数放在内存中。
Xtier的安装流程是先安装官方SGLang，再安装Xtier插件；启动时插件打印详细日志，完成启动、拷贝权重到显存/内存、加载专家等阶段。
在UP主的设备上，Xtier启动大约需要三分钟。
Xtier利用MoE稀疏特性，将未激活专家参数留在CPU内存，只将活跃专家搬入显存，代价是专家切换需通过PCIe总线搬运数据，可能形成推理瓶颈。
Xtier的加速包机制中，官方SGLang加Xtier插件的基础速度约为65 token/s，加上针对特定模型优化的加速包后可提升到137 token/s。
全部知识事实 (6)
Xtier是一个开源插件，依附于SGLang官方框架，在不修改源码的前提下为MoE模型提供显存与内存混合推理能力。
50%待验证SGLang官方版本主要面向纯GPU部署，而Xtier增加了CPU内存推理支持，使MoE模型可将不活跃专家参数放在内存中。
50%待验证Xtier的安装流程是先安装官方SGLang，再安装Xtier插件；启动时插件打印详细日志，完成启动、拷贝权重到显存/内存、加载专家等阶段。
50%待验证在UP主的设备上，Xtier启动大约需要三分钟。
50%待验证Xtier利用MoE稀疏特性，将未激活专家参数留在CPU内存，只将活跃专家搬入显存，代价是专家切换需通过PCIe总线搬运数据，可能形成推理瓶颈。
50%待验证Xtier的加速包机制中，官方SGLang加Xtier插件的基础速度约为65 token/s，加上针对特定模型优化的加速包后可提升到137 token/s。
50%