LRU
Least Recently Used 缓存淘汰策略，优先淘汰最久未使用的数据，用于平衡显存占用和缓存命中率
时间轴 (近 90 天)
缓存淘汰策略包括LRU、LFU以及考虑前缀长度或重计算代价的加权方案，缓存频繁淘汰会降低缓存感知路由的有效性。
GPU 专家权重缓存通常采用类似 LRU（最近最少使用）的替换策略，优先保留近期被频繁调用的专家权重
LRU远比KV-Cache论文所暗示的更难被击败
有大量研究试图设计比LRU更聪明的缓存淘汰策略，例如根据token的重要性、注意力分数或访问频率来决定保留哪些缓存项
高级缓存策略需要额外的元数据追踪、评分计算和维护成本，纳入这些开销后其相对LRU的净收益可能大幅缩水
LRU的实现极为轻量，且在各种访问模式下表现稳定，而复杂算法在特定模式下的优势常伴随其他模式下的性能退化
公平评估缓存算法需要在广泛且具有代表性的负载上测试，并将LRU作为调优到位的强基线
对于构建大模型推理服务的团队，经过良好实现和调优的LRU往往已经是相当强大的选择，替代方案应在实际负载上经过全面测试后再决定
LRU（最近最少使用）是一种缓存淘汰算法，其核心思想是淘汰最久未被访问的数据
LRU不依赖对未来访问模式的预测，也几乎没有额外的计算开销
还有 5 条时间轴事件
全部知识事实 (16)
现代数据库如MySQL InnoDB和PostgreSQL内部都实现了缓冲池（Buffer Pool）机制，通过LRU等算法管理缓存替换策略
95%待验证缓存淘汰策略包括LRU、LFU以及考虑前缀长度或重计算代价的加权方案，缓存频繁淘汰会降低缓存感知路由的有效性。
50%待验证GPU 专家权重缓存通常采用类似 LRU（最近最少使用）的替换策略，优先保留近期被频繁调用的专家权重
50%待验证对于构建大模型推理服务的团队，经过良好实现和调优的LRU往往已经是相当强大的选择，替代方案应在实际负载上经过全面测试后再决定
50%待验证高级缓存策略需要额外的元数据追踪、评分计算和维护成本，纳入这些开销后其相对LRU的净收益可能大幅缩水
50%待验证LRU的实现极为轻量，且在各种访问模式下表现稳定，而复杂算法在特定模式下的优势常伴随其他模式下的性能退化
50%待验证公平评估缓存算法需要在广泛且具有代表性的负载上测试，并将LRU作为调优到位的强基线
50%待验证LRU（最近最少使用）是一种缓存淘汰算法，其核心思想是淘汰最久未被访问的数据
50%待验证LRU不依赖对未来访问模式的预测，也几乎没有额外的计算开销
50%待验证LRU远比KV-Cache论文所暗示的更难被击败
50%待验证有大量研究试图设计比LRU更聪明的缓存淘汰策略，例如根据token的重要性、注意力分数或访问频率来决定保留哪些缓存项
50%待验证经典的 LRU 算法在全表扫描等一次性大批量读取场景下容易发生缓存污染，将热点数据挤出缓存
50%待验证使用 LRU（最近最少使用）缓存策略可以让热门站点数据缓存在内存中，冷门站点数据退回磁盘或数据库
50%待验证LRU缓存替换策略在64位系统中需为每个条目增加至少24字节的元数据开销（双向链表16字节+时间戳8字节）
50%待验证Redis的LRU实现并非教科书中严格的链表方案，而是采用近似LRU算法（随机采样+淘汰池）
50%待验证Orvieto等人于2022年提出了Linear Recurrent Unit（LRU），使用对角复数矩阵作为循环核心
50%