产品Nori LLM
Nori
一个开源LLM推理引擎项目，专注于大语言模型推理性能优化，通过连续批处理、PagedAttention等技术追求极致吞吐量
时间轴 (近 90 天)
9月24日
名为 Nori 的 LLM 推理项目宣称实现了每秒超过 100 万 token 的处理吞吐（1M tok/s）
待验证50%
一个开源LLM推理引擎项目，专注于大语言模型推理性能优化，通过连续批处理、PagedAttention等技术追求极致吞吐量
名为 Nori 的 LLM 推理项目宣称实现了每秒超过 100 万 token 的处理吞吐（1M tok/s）