概念logit / 逻辑值
logits
神经网络softmax层前的未归一化输出向量,包含模型对各分类的原始置信度,是蒸馏攻击最有价值的监督信号
时间轴 (近 90 天)
10月19日
模型输出的原始分数是logits,需经softmax函数转换为概率分布,temperature正是在softmax之前对logits做缩放:温度趋于0时分布趋于尖锐(接近贪心),温度升高则分布趋于平坦。
待验证50%
10月13日
在自回归语言模型中,logits 是模型对词表中每个 token 给出的未归一化分数,softmax 之后才变成概率。
待验证50%
10月13日
在蒸馏攻击中,如果API暴露logits或带有温度的softmax输出,攻击者能用更少的查询次数训练出更接近原模型的替代品。
待验证50%
10月13日
减少API返回信息量(如只返回最终文本结果而不暴露logits分布、top-k概率或token级别置信度)能显著增加蒸馏攻击难度,因为攻击者可获取的监督信号变得更稀疏。
待验证50%
全部知识事实 (5)
待验证
模型输出的原始分数是logits,需经softmax函数转换为概率分布,temperature正是在softmax之前对logits做缩放:温度趋于0时分布趋于尖锐(接近贪心),温度升高则分布趋于平坦。
50%待验证在自回归语言模型中,logits 是模型对词表中每个 token 给出的未归一化分数,softmax 之后才变成概率。
50%待验证在蒸馏攻击中,如果API暴露logits或带有温度的softmax输出,攻击者能用更少的查询次数训练出更接近原模型的替代品。
50%待验证减少API返回信息量(如只返回最终文本结果而不暴露logits分布、top-k概率或token级别置信度)能显著增加蒸馏攻击难度,因为攻击者可获取的监督信号变得更稀疏。
50%待验证约束解码通过维护由JSON Schema推导的有限状态机,在token采样前将非法token的logit置为负无穷,使JSON结构从统计概率问题升级为数学确定性保证
50%