Product
TokenSpeed
基于PyTorch的推理阶段Token生成加速工具，通过投机解码、KV Cache优化或量化等技术手段提升大模型推理吞吐量，已纳入PyTorch官方生态版图
Timeline (last 90 days)
Sep 11
PyTorch生态工作组宣布将10个新项目纳入PyTorch生态版图，分别是Perforated、AReaL、TorchJD、RLinf、Miles、SMG、FiftyOne、TokenSpeed、VisualTorch和TorchSurv
Unverified50%
Sep 11
TokenSpeed聚焦于推理阶段的Token生成加速
Unverified50%