PrefixLM（前缀语言模型）是一种介于自编码（如BERT）与自回归（如GPT）之间的架构设计，输入序列被划分为前缀和后缀两部分，前缀部分内部token可互相看到（双向注意力），后缀部分只能看到自己及之前的token（因果注意力）。