待验证50% 置信事实精确时间

TileRT 与 vLLM 之间通过 vLLM V1 的 connector 接口打通

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/4

首次发现

有效期至：2027/1/2

来源

GLM-5.3 在 8×MI355X 实现 469 tok/s：vLLM 与 TileRT 分离式推理解析

涉及实体

vLLMproduct TileRTproduct

相关事实

待验证vLLM 的 V1 架构提供 connector 接口，为第三方优化方案预留接入空间78% 相似待验证该推理部署采用分离式架构，prefill 阶段由 vLLM 负责，decode 阶段由 TileRT 接管71% 相似待验证vLLM自0.6.x版本起引入了标准化的KV Connector插件接口KVConnectorBase，允许第三方实现将KV缓存卸载到外部存储68% 相似已验证vllm-proto 很可能是为标准化 vLLM 内部/外部接口而抽离出的独立包，其核心内容可能是跨语言、跨进程的接口定义文件集合68% 相似待验证vLLM已内置对多种投机解码方法的支持62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/972281

API

curl https://kongchang.com/api/v1/knowledge/claims/972281

MCP

get_claim(id=972281)