Product-Key Memory

一种基于键值检索的神经网络记忆模块，通过两组键向量的笛卡尔积组织记忆槽，查询分别与两组键计算内积加权聚合值向量，能以O(N)开销实现O(N²)记忆容量，常用于替代或补充Transformer中的FFN。