产品
mini-vllm-rs
用Rust实现的macOS平台LLM推理引擎，支持连续批处理、推测解码等优化技术，运行于Apple Silicon硬件上
时间轴 (近 90 天)
10月11日
在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试，吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s
待验证50%
10月11日
作者基于该工作负载把4行定为默认的内核切换阈值
待验证50%
10月11日
连续批处理按token位置而非请求数量计行数，某批次将新请求的120个prefill token与已有请求的4个验证token合并为124行从而越过阈值选择GEMM
待验证50%
10月11日
在第一个产生分歧的token处，目标模型对token 476和323的两个领先得分在串行与批处理下发生顺序互换，翻转了贪婪解码的选择
待验证50%