待验证50% 置信事实精确时间
TokenSpeed 是 LightSeek Foundation 推出的开源 LLM 推理引擎,定位为兼具 vLLM 级别易用性与 TensorRT-LLM 级别性能,并专门针对编程智能体场景做深度调优。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至:2027/1/13
来源
涉及实体
相关事实
已验证vLLM、TensorRT-LLM等推理引擎通过PagedAttention、连续批处理等技术提升GPU吞吐量66% 相似待验证Folkbench团队针对流式LLM API中转站的生产标准为TTFT < 1.5秒,并需监控P95/P99而非平均值。62% 相似待验证常见的推理引擎包括 vLLM、SGLang、TGI 等61% 相似待验证tpm(Tokens Per Minute)和 rpm(Requests Per Minute)是 LiteLLM 中两个独立维度的限流参数,rpm 保护并发连接数,tpm 贴近实际计算负载61% 相似待验证Crew Studio 默认生成的 LLM 节点是 GPT 模型,需要手动改为 Nemotron 并将最大执行时间设为无限制61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1041077API
curl https://kongchang.com/api/v1/knowledge/claims/1041077MCP
get_claim(id=1041077)