FreeToken 引入服务端的批处理思路，把多个请求合并调度，以提升桌面场景下的资源利用率，并采用更细粒度的内存管理和请求调度来应对显存与模型规模的矛盾。