概念dynamic caching
动态缓存
一种扩散模型推理加速策略,通过监控输入的变化程度动态决定是否复用缓存的激活值,而非固定时间表刷新
时间轴 (近 90 天)
10月16日
动态缓存方法通过将网络输入的廉价探针累积为陈旧度信号,当信号越过阈值时执行一次新的评估,以此决定何时刷新,这类方法执行的是硬缓存。
待验证50%
一种扩散模型推理加速策略,通过监控输入的变化程度动态决定是否复用缓存的激活值,而非固定时间表刷新
动态缓存方法通过将网络输入的廉价探针累积为陈旧度信号,当信号越过阈值时执行一次新的评估,以此决定何时刷新,这类方法执行的是硬缓存。