困惑度是评价语言模型预训练质量最常用的内在指标，定义为模型对测试集每个 token 预测概率的倒数几何平均的指数形式，数值越低表示模型对文本的预测越准确。