信息瓶颈

上下文压缩通常通过一个容量受限的中间表示（如固定长度的摘要或潜在向量）来传递原始长文本的信息，这一过程被称为信息瓶颈。

动作可预测性思想与对比学习中的信息瓶颈原理相通：当模型需要完成某项预测任务时，编码器会被迫保留完成任务所必需的最小充分信息。