Unverified50% confidenceFactExact time

知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量

1

Sources

50%

Confidence

Long-term

Relevance

8/27/2026

First Seen

Sources

DiffusionGemma解析：扩散模型如何让LLM快5倍

Related Entities

知识蒸馏concept Hintonperson DiffusionGemmamodel

Related Claims

Verified知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布79% similar Unverified知识蒸馏由Hinton等人提出，让学生模型通过学习教师模型输出的软概率分布继承隐性知识72% similar Unverified知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签70% similar Unverified知识蒸馏由Hinton等人2015年提出，通过温度参数软化概率分布，使低概率类别的暗知识更显著供学生模型学习70% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/807345

API

curl https://kongchang.com/api/v1/knowledge/claims/807345

MCP

get_claim(id=807345)