[控场AI]
概念logit / 逻辑值

logits

神经网络softmax层前的未归一化输出向量,包含模型对各分类的原始置信度,是蒸馏攻击最有价值的监督信号

时间轴 (近 90 天)

10月19日

模型输出的原始分数是logits,需经softmax函数转换为概率分布,temperature正是在softmax之前对logits做缩放:温度趋于0时分布趋于尖锐(接近贪心),温度升高则分布趋于平坦。

待验证50%
10月13日

在自回归语言模型中,logits 是模型对词表中每个 token 给出的未归一化分数,softmax 之后才变成概率。

待验证50%
10月13日

在蒸馏攻击中,如果API暴露logits或带有温度的softmax输出,攻击者能用更少的查询次数训练出更接近原模型的替代品。

待验证50%
10月13日

减少API返回信息量(如只返回最终文本结果而不暴露logits分布、top-k概率或token级别置信度)能显著增加蒸馏攻击难度,因为攻击者可获取的监督信号变得更稀疏。

待验证50%

全部知识事实 (5)

来源文章