[
KongchangAI
]
Feed
Entities
Podcasts
Deep Dives
Developers
About
Get CLI
中文
Concept
V2架构 / Model Runner V2
Model Runner V2
vLLM框架的第二代模型运行引擎,对底层调度逻辑、内存管理和批处理策略进行了全面重构,自v0.29.0起成为所有模型的默认运行时
Source Articles
vLLM v0.29.0发布:Model Runner V2成默认引擎,推理性能全面升级
Sep 15