在自回归语言模型中，注意力需要配合因果掩码，确保每个位置只能关注自身及之前的token，防止信息泄露。