Unverified50% confidenceFactExact time
vLLM的前缀缓存实现基于基数树（radix tree）数据结构进行细粒度的缓存命中匹配
1
Sources
50%
Confidence
Long-term
Relevance
9/6/2026
First Seen
Sources
Related Entities
Related Claims
Unverified开源项目Langfuse以结构化的Trace/Span模型记录LLM应用的完整调用树69% similarUnverifiedvLLM是由UC Berkeley开发的高吞吐量推理框架，采用PagedAttention技术提升KV Cache的内存利用率67% similarUnverified典型的RAG系统使用向量数据库（如Pinecone、Milvus、Weaviate）存储文档嵌入，配合嵌入模型（如OpenAI的text-embedding系列）进行语义匹配66% similarUnverifiedRadixAttention 通过将 KV Cache 组织为前缀树结构，使具有相同前缀的多个请求共享同一份缓存66% similarUnverified语义记忆层的实现通常借助向量数据库（如Chroma、Qdrant、Pinecone）进行向量化存储和相似度检索，这一技术路线被称为RAG65% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/864586API
curl https://kongchang.com/api/v1/knowledge/claims/864586MCP
get_claim(id=864586)