概念dark knowledge
暗知识
知识蒸馏中的核心概念，指教师模型输出的软标签概率分布中所蕴含的类别间关系信息，超越了硬标签的对错判断，反映了模型对不同类别相似性的隐性理解
时间轴 (近 90 天)
10月13日
软标签是教师模型经过softmax归一化后输出的概率分布，携带了类别之间的相似性信息，其信息量远超单一的硬标签。
待验证50%
8月29日
暗知识（tacit knowledge）按Michael Polanyi的定义是'我们知道但无法言说'的部分，很难被AI从训练数据中学到
待验证50%