待验证60% 置信事实精确时间

在传统白盒蒸馏中学生模型可以直接访问教师模型输出层的完整概率分布（logits），而大语言模型商业API通常只返回最终生成文本或top-k的token概率

2

来源数

60%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

AI模型蒸馏技术解析：全球竞争与合规边界

涉及实体

白盒蒸馏concept 黑盒蒸馏concept

相关事实

待验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）73% 相似已验证知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果68% 相似已验证大语言模型本质上是在学习给定前文下一个词是什么的条件概率分布68% 相似待验证大语言模型通过自监督预训练学习token序列的条件概率分布，本质上是统计压缩模型，无法通过统计特征区分正确与错误的数学证明66% 相似已验证LLM本质上是基于海量文本训练的概率分布系统，每次输出都是对下一个最可能词元的采样，而非基于真实世界知识的检索与推理65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/886034

API

curl https://kongchang.com/api/v1/knowledge/claims/886034

MCP

get_claim(id=886034)