#推理性能

LLM每秒10个Token有多快？直观感受Token生成速度的开源工具

通过开源工具直观体验LLM不同Token生成速度（5-800 TPS）的实际效果，帮助开发者理性选择模型、优化推理性能，告别对TPS数字的盲目追求。